首頁 > 軟體

人工智慧-Python實現嶺迴歸

2022-01-15 13:00:14

1 概述

1.1 線性迴歸

對於一般地線性迴歸問題,引數的求解採用的是最小二乘法,其目標函數如下:

引數 w 的求解,也可以使用如下矩陣方法進行:

這個公式看著嚇人,其實推導過程簡單由(推導而來,紙老虎)
對於矩陣 X ,若某些列線性相關性較大(即訓練樣本中某些屬性線性相關),就會導致
的值接近 0 ,在計算時就會出現不穩定性。
結論 : 傳統的基於最小二乘的線性迴歸法缺乏穩定性。

1.2 嶺迴歸 

嶺迴歸的優化目標:

argminleft | Xw-y right |^{2}+partial left | w right |^{2}

 對應的矩陣求解方法為:                

嶺迴歸(ridge regression) 是一種專用於共線性資料分析的有偏估計迴歸方法。
是一種改良的最小二乘估計法,對某些資料的擬合要強於最小二乘法。

1.3 過擬合

圖二就是正常擬合,符合資料的趨勢,而圖三,雖然在訓練集上擬合得很好,但是出現未知資料時,比如Size很大時,根據目前擬合來看,可能得到的結果很小,與實際誤差會很大。 

2 sklearn中的嶺迴歸

在sklearn庫中,可以使用sklearn.linear_model.Ridge呼叫嶺迴歸模型,其主要引數有:

• alpha:正則化因子,對應於損失函數中的


IT145.com E-mail:sddin#qq.com