程序员人生 网站导航

机器学习方法(一):线性回归Linear regression

栏目:综合技术时间:2015-03-11 08:39:04

开1个机器学习方法科普系列,也做基础回顾之用。学而时习之。
content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap(修改前面的blog)
SVM
C3、C4.5
Apriori,FP
PageRank
minHash, LSH
Manifold Ranking,EMR
待补充

开始几篇将详细介绍1下线性回归linear regression,和加上L1和L2的正则的变化。后面的文章将介绍逻辑回归logistic regression,和Softmax regression。为何要先讲这几个方法呢?由于它们是机器学习/深度学习的基石(building block)之1,而且在大量教学视频和教材中反复被提到,所以我也记录1下自己的理解,方便以后翻阅。这3个方法都是有监督的学习方法,线性回归是回归算法,而逻辑回归和softmax本质上是分类算法(从离散的分类目标导出),不过有1些场合下也有混着用的――如果目标输出值的取值范围和logistic的输出取值范围1致。

ok,空话不多说。

1、Linear Regression

可以说基本上是机器学习中最简单的模型了,但是实际上其地位很重要(计算简单、效果不错,在很多其他算法中也能够看到用LR作为1部份)。

定义1下1些符号表达,我们通常习惯用X=(x1,x2,...,xn)TRn×p表示数据矩阵,其中xiRp表示1个p维度长的数据样本;y=(y1,y2,...,yn)TRn表示数据的label,这里只斟酌每一个样本1类的情况。

线性回归的模型是这样的,对1个样本xi,它的输出值是其特点的线性组合:

f(xi)=m=1pwmxim+w0=wTxi

其中,w0称为截距,或bias,上式中通过增加xi0=1w0也吸收到向量表达中了,简化了情势,因此实际上xip+1维度。

线性回归的目标是用预测结果尽量地拟合目标label,用最多见的Least square作为loss function:

J(w)=1ni=1n(yi?f(xi))2=1ny?Xw2

也就是很多中文教材中提到的最小2乘;线性回归是convex的目标函数,并且有解析解:
w^=(XTX)?1XTy

线性回归到这里就训练完成了,对每个样本点的预测值是f(xi)=yi^=w^Txi。所以:
y^=Xw^=X(XTX)?1XTy

接下来看1下我们寻觅到的预测值的1个几何解释:从上面的解析解w^=(XTX)?1X

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐