从机器学习的角度理解贝叶斯公式

贝叶斯公式趣解

贝叶斯学派认为没有什么是随机的，如果有，那一定是信息不够（香农信息论）； 统计学中的贝叶斯学派就引出了后来机器学习中的贝叶斯学。

贝叶斯公式给了我们一种能力，即在事件发生后，通过事件发生前的各种概率进行推理的能力。

无意中使用贝叶斯的例子：一个笑话——水是剧毒的，因为罹患癌症的人都喝过水。 无意中被贝叶斯欺骗的例子：检出率很高的诊疗方法（准确率99.9%），误诊率是极高的(>50%)。因为自然人群中患病率(<1%)。 概率论统计学真是任人装扮的小姑娘。

$$P(c|x) = \frac{P(c)P(x|c)}{P(x)}$$

从机器学习的角度来理解贝叶斯公式

还是上面那个公式，但在机器学习中，这就定义了一个朴素贝叶斯分类器，读作P c given x, 左侧是后验概率，$P(c)$是先验概率prior，$P(x|c)$ 是似然值(likelihood)，是模型重点学习的部分。$P(x)$对于所有的输入样本都是一样的，是用来归一化的（计算时用全概率公式展开）；对$P(c)P(c|x)$的估计可以采用极大似然估计Maximum Likelihood Estimation的方法。(西瓜书P148) 从一般的角度来理解（可能不太准确): $P(c)$是一件事的原始概率，当发生了一些事之后（或是我们知道它发生了，这就跑到贝叶斯学派和频率学派的分歧点了），$P(c|x)$是被修正的概率，修正因子就是$\frac{P(x|c)}{P(x)}$ 。

太深了，浅看就一公式，深层竟然是世界观方法论，越看越迷糊

贝叶斯公式引出的一些概念

先验概率

事情未发生，只根据以往数据统计，分析事情发生的可能性，即先验概率。或者说根据以往经验和分析，在实验或采样前就可以得到的概率。 先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现。

后验概率与先验概率

1. 后验概率 事情已发生，已有结果，求引起这事发生的因素的可能性，由果求因，即后验概率。指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。 后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因"。
2. 与先验概率的关系 后验概率的计算，是以先验概率为前提条件的。如果只知道事情结果，而不知道先验概率（没有以往数据统计），是无法计算后验概率的。 后验概率的计算需要应用到贝叶斯公式。
3. 全概率公式、贝叶斯公式与先验、后验概率的关系 全概率公式，总结几种因素，事情发生的概率的并集。由因求果。 贝叶斯公式，事情已经发生，计算引起结果的各因素的概率，由果寻因。同后验概率。 全概率是用原因推结果，贝叶斯是用结果推原因

参考文章

主要参考

《机器学习》周志华