程序员人生 网站导航

朴素贝叶斯

栏目:综合技术时间:2017-02-07 09:28:33
朴素贝叶斯是基于贝叶斯定理和假定特点条件独立的分类方法。 from https://fangpin.github.io

贝叶斯定理

(p(y|x)=\frac{p(x,y)}{p(x)}=\frac{p(y)*p(x|y)}{\sum_{y}{}p(y)*p(x|y)})

条件独立

(p(X=x|Y=c_k)=\prod_{j=1}^{n}p(X^j=x^j|Y=c_k))

朴素贝叶斯

(y=\arg \max_{c_k} \frac{p(Y=c_k)*\prod_{j} p(X^j=x^j|Y=c_k)}{p(X=x)})

分母为定值,份子最大时获得最大值。

参数估计

上述公式中几率根据训练数据进行经验估计。

(p(Y=c_k)=\frac{\sum_{i=1}{N}I(y_i = c_k)}{N})

(p(X^j=a_j|y=c_k)=\frac{\sum_{i=1}^{n}I(x_{i}^{j}=a_j,y_i=c_k)}{\sumI(y_i=c_k)})

上式几率值可能为0,引发分类偏差。引入

(p(X^j=a_j|y=c_k)=\frac{\sum_{i=1}^{n}I(x_{i}^{j}=a_j,y_i=c_k)+\lambda}{\sum_{}I(y_i=c_k)+lambda})

λ=1时,又称为拉普拉斯平滑。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐