機械学習の観点からベイズの定理を理解する

1 ベイズの定理の面白い解釈

ベイズ学派は何もランダムではないと考えています。もしランダムであるなら、それは情報が不十分であるためです（シャノン情報理論）； 統計学のベイズ学派は、後に機械学習のベイズ学に発展しました。

ベイズの定理は、事象が発生した後に、事象が発生する前のさまざまな確率を通じて推論する能力を私たちに与えてくれます。

無意識にベイズを使用した例：ジョーク——水は劇毒です。なぜなら、癌を患った人は皆水を飲んでいるからです。 無意識にベイズに騙された例：検出率が非常に高い診断方法（正確率99.9%）は、誤診率が非常に高い（>50%）。なぜなら、自然集団における罹患率が低い（<1%）からです。 確率論統計学は本当に人を装う小娘のようです。

$$P(c|x) = \frac{P(c)P(x|c)}{P(x)}$$

2 機械学習の観点からベイズの定理を理解する

上記の公式ですが、機械学習では、これはナイーブベイズ分類器を定義し、P c given xと読みます。左側は事後確率で、$P(c)$は事前確率（prior）、$P(x|c)$は尤度（likelihood）で、モデルが重点的に学習する部分です。$P(x)$はすべての入力サンプルに対して同じで、正規化のために使用されます（計算時に全確率の公式で展開されます）；$P(c)P(c|x)$の推定には最大尤度推定（Maximum Likelihood Estimation）の方法を使用できます。（西瓜書P148） 一般的な観点から理解すると（あまり正確ではないかもしれませんが）：$P(c)$はある事の元の確率で、何かが発生した後（またはそれが発生したことを知っている場合、これはベイズ学派と頻度学派の分岐点になります）、$P(c|x)$は修正された確率で、修正因子は$\frac{P(x|c)}{P(x)}$です。

深すぎます、浅く見るとただの公式ですが、深く見ると世界観と方法論で、見れば見るほど混乱します

3 ベイズの定理から派生するいくつかの概念

3.1 事前確率

事象が発生していない場合、過去のデータ統計に基づいて、事象が発生する可能性を分析することを事前確率といいます。または、過去の経験と分析に基づいて、実験やサンプリングの前に得られる確率です。 事前確率は過去の経験と分析に基づいて得られる確率を指し、全確率の公式のように、“原因から結果を求める"問題の中の"原因"として現れることが多いです。

3.2 事後確率と事前確率

1. 事後確率 事象が発生し、すでに結果がある場合、その事象を引き起こした要因の可能性を求めることを事後確率といいます。結果から原因を求めることを指します。特定の事象が発生した後、その事象の原因が特定の要因によって引き起こされた確率を計算したい場合に使用されます。 事後確率は、得られた"結果"情報に基づいて計算された、最も可能性の高い事象が発生した確率を指します。ベイズの定理のように、“結果から原因を探す"問題の中の"原因"です。
2. 事前確率との関係 事後確率の計算は、事前確率を前提条件としています。事象の結果だけを知っていて、事前確率を知らない場合（過去のデータ統計がない場合）、事後確率を計算することはできません。 事後確率の計算にはベイズの定理を適用する必要があります。
3. 全確率の公式、ベイズの定理と事前、事後確率の関係 全確率の公式は、いくつかの要因が事象を引き起こす確率の和集合をまとめたものです。原因から結果を求めます。 ベイズの定理は、事象がすでに発生している場合に、結果を引き起こした各要因の確率を計算するために使用されます。結果から原因を探します。事後確率と同様です。 全確率は原因を用いて結果を推測し、ベイズは結果を用いて原因を推測します。

4 参考記事

主要参考

《機械学習》周志华