从机器学习的角度理解贝叶斯公式
1 贝叶斯公式趣解
贝叶斯学派认为没有什么是随机的,如果有,那一定是信息不够(香农信息论); 统计学中的贝叶斯学派就引出了后来机器学习中的贝叶斯学。
贝叶斯公式给了我们一种能力,即在事件发生后,通过事件发生前的各种概率进行推理的能力。
无意中使用贝叶斯的例子:一个笑话——水是剧毒的,因为罹患癌症的人都喝过水。 无意中被贝叶斯欺骗的例子:检出率很高的诊疗方法(准确率99.9%),误诊率是极高的(>50%)。因为自然人群中患病率(<1%)。
概率论统计学真是任人装扮的小姑娘。
$$P(c|x) = \frac{P(c)P(x|c)}{P(x)}$$
2 从机器学习的角度来理解贝叶斯公式
还是上面那个公式,但在机器学习中,这就定义了一个朴素贝叶斯分类器,读作P c given x
, 左侧是后验概率,$P(c)$是先验概率prior,$P(x|c)$ 是似然值(likelihood),是模型重点学习的部分。$P(x)$对于所有的输入样本都是一样的,是用来归一化的(计算时用全概率公式展开);对$P(c)P(c|x)$的估计可以采用极大似然估计Maximum Likelihood Estimation的方法。(西瓜书P148)
从一般的角度来理解(可能不太准确): $P(c)$是一件事的原始概率,当发生了一些事之后(或是我们知道它发生了,这就跑到贝叶斯学派和频率学派的分歧点了),$P(c|x)$是被修正的概率,修正因子就是$\frac{P(x|c)}{P(x)}$ 。
太深了,浅看就一公式,深层竟然是世界观方法论,越看越迷糊
3 贝叶斯公式引出的一些概念
3.1 先验概率
事情未发生,只根据以往数据统计,分析事情发生的可能性,即先验概率。或者说根据以往经验和分析,在实验或采样前就可以得到的概率。 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现。
3.2 后验概率与先验概率
- 后验概率 事情已发生,已有结果,求引起这事发生的因素的可能性,由果求因,即后验概率。指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。 后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因"。
- 与先验概率的关系 后验概率的计算,是以先验概率为前提条件的。如果只知道事情结果,而不知道先验概率(没有以往数据统计),是无法计算后验概率的。 后验概率的计算需要应用到贝叶斯公式。
- 全概率公式、贝叶斯公式与先验、后验概率的关系 全概率公式,总结几种因素,事情发生的概率的并集。由因求果。 贝叶斯公式,事情已经发生,计算引起结果的各因素的概率,由果寻因。同后验概率。 全概率是用原因推结果,贝叶斯是用结果推原因
4 参考文章
《机器学习》周志华