Regression 迴歸
回歸類型
模型改進
低度擬合與過度擬合
低度擬合：特徵太少、模型太過簡單
- 增加新的領域特定特徵和更多笛卡兒乘積特徵，以及變更特徵處理使用的類型 (例如，提高 n 元語法的大小)
- 減少使用的正規化數量
過度擬合：特徵太多、模型過於複雜
- 特徵選擇：考慮使用較少的特徵組合、減少 n 元語法的大小，以及減少數值屬性分箱數。
- 增加使用的正規化數量。
模型正規化
在成本函數加入懲罰項，避免過度擬合
LASSO
RIDGE
通常數值不用一開始就使用「正規化迴歸」，
可以確認線性迴歸有over-fitting問題，
再試試看「正規化迴歸」。
梯度下降法
初始值更新 = 初始值 - 學習率 * 成本函數的導數
學習率不能太大或太小，可多嘗試不同數值
- 學習率太大：找不到正確的數值
- 學習率太小：效率太差
若在非凸函數中，可能會得到局部最小值而不是全域最小值
用梯度下降解線性回歸
對LOSS function微分後：
