机器学习方法（一）：线性回归Linear regression

开1个机器学习方法科普系列，也做基础回顾之用。学而时习之。
content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap（修改前面的blog）
SVM
C3、C4.5
Apriori，FP
PageRank
minHash, LSH
Manifold Ranking，EMR
待补充
…
…

开始几篇将详细介绍1下线性回归linear regression，和加上L1和L2的正则的变化。后面的文章将介绍逻辑回归logistic regression，和Softmax regression。为何要先讲这几个方法呢？由于它们是机器学习/深度学习的基石（building block）之1，而且在大量教学视频和教材中反复被提到，所以我也记录1下自己的理解，方便以后翻阅。这3个方法都是有监督的学习方法，线性回归是回归算法，而逻辑回归和softmax本质上是分类算法（从离散的分类目标导出），不过有1些场合下也有混着用的――如果目标输出值的取值范围和logistic的输出取值范围1致。

ok，空话不多说。

1、Linear Regression

可以说基本上是机器学习中最简单的模型了，但是实际上其地位很重要（计算简单、效果不错，在很多其他算法中也能够看到用LR作为1部份）。

定义1下1些符号表达，我们通常习惯用$X=(x_1, x_2, ...,x_n)^T in mathbb{R}^{n imes p}$表示数据矩阵，其中$x_i in mathbb{R}^p$表示1个p维度长的数据样本；$y=(y_1, y_2, ...,y_n)^T in mathbb{R}^{n}$表示数据的label，这里只斟酌每一个样本1类的情况。

线性回归的模型是这样的，对1个样本$x_i$，它的输出值是其特点的线性组合：

$$egin{equation} f(x_i) = sum_{m=1}^{p}w_m x_{im}+w_0={w}^T{x_i} end{equation}$$
其中，$w_0$称为截距，或bias，上式中通过增加$x_{i0}=1$把$w_0$也吸收到向量表达中了，简化了情势，因此实际上$x_i$有$p+1$维度。

线性回归的目标是用预测结果尽量地拟合目标label，用最多见的Least square作为loss function：

$$egin{equation} J(w)=frac{1}{n}sum_{i=1}^{n}(y_i - f(x_i))^2=frac{1}{n}|y-Xw|^2 end{equation}$$
也就是很多中文教材中提到的最小2乘；线性回归是convex的目标函数，并且有解析解：
$$egin{equation} hat{w}=(X^{T}X)^{⑴}X^{T}y end{equation}$$
线性回归到这里就训练完成了，对每个样本点的预测值是$f(x_i)=hat{y_i}=hat{w}^{T}x_i$。所以：
$$egin{equation} hat{y} = Xhat{w} = X(X^{T}X)^{⑴}X^{T}y end{equation}$$

接下来看1下我们寻觅到的预测值的1个几何解释：从上面的解析解w^=(XTX)?1X