尤度関数のソースを表示

'''尤度関数'''（ゆうどかんすう）とは[[統計学]]用語で、ある前提条件に従って結果が出現する場合に、逆に観察結果からみて前提条件が「何々であった」と推測する'''尤もらしさ'''（もっともらしさ）を表す数値を、「何々」を[[変数 (数学)|変数]]とする[[関数 (数学)|関数]]として捉えたものである。また単に'''尤度'''ともいう。

== 概要 ==
''B = b'' であることが確定している場合に、 ''A'' が起きる[[確率]]（[[条件付確率]]）を

:<math>P(A \mid B=b)</math>

とする。このとき、逆に ''A'' が観察で確認されていることを基にして、上記の条件付確率を変数 ''b'' の関数として'''尤度関数'''という。また一般には、それに比例する関数からなる[[同値類]]

:<math>L(b \mid A) = \alpha \; P(A \mid B=b)</math>

（ここで<math>\alpha</math>は任意の正の比例定数）をも尤度関数という。重要なのは数値<math>L(b | A)</math>自体ではなく、むしろ比例定数を含まない比<math>\frac{L(b_2 | A)}{L(b_1 | A)}</math>（尤度比）である。もし<math>\frac{L(b_2 | A)}{L(b_1 | A)} > 1</math>ならば、<math>b_1</math>と考えるよりも<math>b_2</math>と考えるほうが尤もらしい、ということになる。
<math>B</math>が与えられた場合には、それから<math>A</math>について推論するのには条件付確率<math>P(A | B)</math>を用いる。
逆に、<math>A</math>が与えられた場合に、それから<math>B</math>について推論するのには条件付確率<math>P(B | A)</math>（[[事後確率]]）を用いるが、これは尤度関数である<math>P(A | B)</math>あるいは<math>\frac{P(A | B)}{P(A)}</math>から、次の[[ベイズの定理]]によって求められる：

:<math>P(B \mid A) = \frac{P(A \mid B)\;P(B)}{P(A)}</math>

ただし、尤度関数は後に示すように[[確率密度関数]]とは別の概念である。
==簡単な例 ==
コインを投げるときに、表が出る（'H'）確率が ''p<sub>H</sub>'' であれば、2回の試行で2回とも表が出る（'HH'）確率は ''p<sub>H</sub><sup>2</sup>'' である。 ''p<sub>H</sub>'' = 0.5 であれば、2回とも表が出る確率は0.25である。このことを次のように示す：

:<math>P(\mbox{HH} \mid p_H = 0.5) = 0.25</math>

これのもう1つの言い方として、「観察結果が'HH'ならば ''p<sub>H</sub>'' = 0.5 の尤度は 0.25である」、つまり

:<math>L(p_H=0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H=0.5) =0.25</math>.

と言える。一般には

:<math> L(p_H=x \mid \mbox{HH}) = P(\mbox{HH}\mid p_H=x) = x^2</math>

と書ける。
しかしこれを、「観察値が0.25ならば、1回投げて表の出る'''確率'''は ''p<sub>H</sub>'' = 0.5」という意味にとってはならない。
極端な場合を例にとると、「観察結果が'HH'ならば ''p<sub>H</sub>'' = 1 の尤度は1」とはいえる。しかし明らかに、観察値が1だからといって表の出る確率 ''p<sub>H</sub>'' = 1 ということはない。'HH'という事象は ''p<sub>H</sub>'' の値が0より大きく1以下のいくつであっても起こりうるのだ。
<math>L(p_H=x \mid \mbox{HH})</math>の値はxが1に近づくほど大きくなる（しかし現実には''p<sub>H</sub>'' はおよそ0.5である場合が多い）。'''観察はたった2回の試行に基づくもので、それからとりあえず「''p<sub>H</sub>'' = 1 が尤もらしい」といっているにすぎない'''。
また尤度関数は[[確率密度関数]]ではなく、[[積分]]しても一般に1にはならない。上の例では ''p<sub>H</sub>'' に関する[0, 1]区間の尤度関数の積分は1/3で、これからも尤度密度関数を ''p<sub>H</sub>'' に対する確率密度関数としては解釈できないことがわかる。

== 母数を含むモデルの尤度関数 ==
統計学では標本の観察結果から母集団の分布を表現する母数（パラメータ）を求めることが重要であるが、母集団の母数がある特定の値であることを前提条件として観察結果が得られると考え、統計学の問題に尤度の概念を適用できる。尤度関数は特に[[最尤法]]、[[尤度比検定]]で重要な意味を持ち、尤度を最大にするという原理により多くの統計学的推定法が導かれる。
次のような母数を含む[[確率密度関数]]族を考える：

:<math>f(x\mid\theta)</math>

ここで ''x'' が確率変数、 &theta; が母数である。尤度関数は

:<math>L(\theta \mid x)=f(x\mid\theta)</math>

ここで ''x'' は実験の観察値である。&theta; を定数として、 ''f''(''x'' | &theta;) を ''x'' の関数として見たときには、これは確率密度関数であり、逆に ''x'' を定数として &theta; の関数として見たときには、尤度関数である。
この場合も尤度を、観察標本が与えられたときに「この母数が正しい」という確率と混同してはいけない。観察結果はあくまでも少数の標本にすぎず、仮説の尤度を仮説の確率として解釈するのは危険である。
== 歴史 ==
尤度に関する初期の考察は[[デンマーク]]の[[数学者]][[トルバルド・ティエレ]](Thorvald N. Thiele)による[[1889年]]の著書にみられる。
尤度についての完全な考察が現れた最初の論文は、[[ロナルド・フィッシャー]]による[[1922年]]の"On the mathematical foundations of theoretical statistics"である。ここでフィッシャーはまた「最尤法」（method of maximum likelihood）の語を初めて用いている。フィッシャーは[[統計学的推計]]の基礎として事後確率を用いることに反対し、代わりに尤度関数に基づく推計を提案している。

== 関連項目 ==
* [[推計統計学]]
* [[確率分布]]
* [[ベイズの定理]]
* [[ベイズ推計]]
* [[尤度比検定]]
* [[最尤法]]
* [[最大エントロピー原理]]

[[Category:統計学|ゆうとかんすう]]
[[Category:ベイズ統計|ゆうとかんすう]]
[[Category:数学に関する記事|ゆうとかんすう]]