linear regression with multiple features

the basic progress for this type of ML problem

1. Let’s look at the simple linear regression model ahead.

簡單的線性回歸是一個因變量一個自變量，由于一個變量很難解釋一個特征的全部信息，所以我們往往需要考慮多個特征。
首先我們來看看多項式回歸

2.Polynomial regression

$y_i=w_0+w_1{x}_i+w_2{x}_i^2+...+w_p{x}_i^p+{?}_i$
我們可以將每個多項式看做一個特征，通常第一個特征默認為1.如下圖

更為一般的，我們可以將每個特征看做一個原始特征的函數

接下來我們來具體看看多元回歸相關的一些概念與方法

3.Multiple regression

3.1General notation

$x[j]$ :表示第j個特征
$x_i$ :表示第i個樣本

3.2Interpreting the fitted function

當我們對變量進行解釋時，我們選擇其中一個變量，固定所有其他的變量，則該變量的系數表示每增加一單位該變量，y的改變。

注意：當為多項式回歸時，我們無法固定其他變量不變，也就無法解釋其系數。

3.3Fit D-dimensional curves

• step1: Rewrite the regression model

  $y_i=w_j{h}_j(x_i)+{?}_i$

• step2:Compute the cost

• step3:計算梯度

Step4：求解方法
方法一：閉式解法（也就是解析解法）（closed-form solution）
這種方法是求的解析解，可以求出一個具體的表達式，可以通過帶入具體數值來進行獲得
求解思路：讓梯度等于0

這種方法求解需要注意兩個問題：

1. 是否可逆
2. 求解復雜度：
   求逆的復雜度為$O(D^3)$
   求矩陣的復雜度為$O（N{D}^2）$
   例如一個m×n的矩陣與一個n×s的矩陣相乘，則復雜度為m×n×s

方法二：梯度下降法（Gradient descent）
這種方法求的是一個數值近似解，即需要具體的數據來計算
基本思路：不斷同梯度下降最快的方向進行，知道收斂（一般到$10^{?}3$）
注意：
當多個特征時，我們要同時更新所有的特征