統計的機械学習

・統計的パターン認識の枠組み

・最尤推定法の枠組み，モデル選択

・ガウス混合モデル，EMアルゴリズム

・ノンパラメトリック密度推定法，最近傍識別器

・ベイズ推定法の枠組み，モデル選択

・変分ベイズ法

・マルコフ連鎖モンテカルロ法

・ノンパラメトリックベイズ法

補足 Octavaの使いかた

Octavaとは数値計算用インタプリタ言語

行列やベクトルの演算、連立方程式、固有値、統計計算などが簡単に行える

Octavaによるプログラミング

これまではコマンドラインに直接コマンドを打ち込むことにより計算を行ってきたがより複雑な処理を行うときはスクリプトや関数を用いる

第1講

基本的には授業のスライドで完結

授業計画

・統計的パターン認識の枠組み

・最尤推定法の枠組み、モデル選択

・ガウス混合モデル、EMアルゴリズム

・ノンパラメトリック密度推定法、最近傍識別器

・ベイズ推定法の枠組み、モデル選択

・変分ベイズ法

・マルコフ連鎖モンテカルロ法

・ノンパラメトリックベイズ法

1 機械学習研究分野の紹介

2 パターン認識の概要

3 識別関数の良さを測る基準

4 統計的パターン認識の枠組み

1 機械学習研究分野の紹介

競争が激しくいろいろなものに応用され出した

2 パターン人式の概要

パターン認識とは与えられたパターンをそれが属するカテゴリに対応させる操作

入力パターン→観測→前処理→特徴抽出→識別→出力カテゴリ

識別部分が一番大切

学習に用いていないデータをいかに補間できるかが重要

統計的パターン認識では、訓練標本の統計的な性質を利用して識別関数を学習する

パターンの構造を識別するという方法もあるが、あまり汎用性がない

3 識別関数の良さを測る基準

x:d次元実ベクトル

D：パターン空間

y：カテゴリ

識別関数を求めること＝決定領域を求めること＝決定境界を求めること

・最大事後確率則

・最小誤識別率則

・ベイズ決定則

・確率事後確率則

入力パターンが属する可能性が最も高いカテゴリを選ぶ

これはxを事後確率が最大になるカテゴリに分類することに対応

・最小誤識別率則

パターンが誤って分類される確率を最小にするように識別関数を決定

式変形より最小誤識別率則 = 最大事後確率則

まあ要するにどっちを選んでも良いということ

人間は降水確率が40%でも傘を持っていく

これは、傘を持っていかなくて雨が降ったときの損失が傘を持っていって雨が降らなかった時の損失よりもずっと大きいからである

このように重み付けをしたいので、ベイズ決定則が今日では有力である

・ベイズ決定則

誤って識別した時の損失を最小にするように識別

条件付きリスクというものを考える

条件付きリスクが最小になるカテゴリにパターンを分類する

見かけでは最大事後確率と同じようだが、不等号の向きが逆

全リスク、ベイズリスクという言葉を用いる

ベイズリスク0のときはコンピューターが間違えないが、ベイズリスクは一般的に0じゃないので、どんだけ学習しても誤差が出てしまう

それなので、自動運転もミスが起こる

損失一定のベイズ決定則は最大事後確率則

現実的にはベイズ決定則を使うのが直感に合うが、ベイズ決定則の損失の割合を決めなくてはいけない

また数学的に計算がめんどくさくなる

気持ち的にはベイズ決定則を使いたいが、この講義では議論をしやすくするために最大事後確率則を用いる

4 統計的パターン認識の枠組み

我々は最大事後確率則を使う

事後確率がわかれば最大事後確率則によってパターンを分類できるが、p(y|x)は未知なので、これをどう推定するかを考えていく

そこでまず理論的な仮定をおく

訓練標本は次のように生成されたと仮定

・カテゴリを事前確率に従ってランダムに選ぶ

・選んだカテゴリに対して、パターンを条件付き確立に従ってランダムに取り出す

訓練標本は独立に同一な分布に従うとしている

これが本当に成り立っているのかどうかは実際は微妙なところ

だが、独立じゃないとすると、難しすぎてまだよくわかっていない

事後確率を直接推定するのは難しい

そこで、ベイズの定理を用いて条件付き確率と事前確率を推定することにする

事前確率は単純にそのカテゴリに含まれる標本の割合で推定する

これは最尤推定量になっているので、基本的にはp(y)はこれで推定する

残ったp(x|y)を推定することをず〜〜〜〜〜と半年間考えていく

連続的な確率分布の推定はいろいろな方法がある

大きく分けると、

パラメトリック法：有限次元のパラメータで記述された確率密度関数の族であるパラメトリックモデルを用いる

ノンパラメトリック法：パラメトリックモデルを用いない

やりたいことはp(x|y)を推定すること

簡単のため、条件付きでない確率密度関数を全訓練標本から推定する問題を考える

カテゴリyに関する条件付き確率p(x|y)を推定する時はyに属するnyこの

まとめ

・パターン認識の問題とは、識別関数の問題

・汎化能力が重要

・統計的パターン認識：訓練標本の

宿題

・誤って識別した場合の損失がカテゴリによって異なるようなパターン認識の実れいを考えよ

傘の例や病気の例がある

また、それらの例では損失の値はいくら位になるのか具体的に述べよ

できれば趣味に依存するような例だと面白い

これをレポートにまとめてpdfにしてアップロード

special topics in mechano-informatics2

第2講

次は条件付き確率の推定を考える

条件付き確立は連続的な確率分布なので、事前確率のように単純には推定できない

カテゴリyに関する条件付き確立を推定するときは

確率密度関数の推定法

・パラメトリック法

p(x)はq(x,θ)で表現できるだろうとして、θを推定する

・ノンパラメトリック法

それ以外の方法

無限次元のパラメータを持つθの場合、ノンパラメトリック法に分類される

パラメトリック法

θはパレメータ

パラメトリックモデルは有限次元のパラメータで記述された確率密度関数の族

θをどう推定するかの一番有名な方法は最尤推定がある

最も尤もらしいパラメータの値を決める

手元にある訓練標本が最も生起しやすいようにパラメータ値を決める方法

尤度関数を定義して、尤度を最大にするパラメータを推定する

対数をとれば積が和になることから、実際に最尤推定量を計算するときは対数をとった尤度を用いた方が計算しやすいことが多い

最尤推定量は尤度方程式を満たす

ガウスモデルの最尤推定

ベクトルや対称行列に

スカラーに対して、微分したものをベクトルのように並べたという演算子を∂/∂μとする

Σはd*d行列で、推定しなきゃいけないものが多いのでもうちょいシンプルなものを考えたい

というのも、推定するものが多いと、うまくいかないことが多い

ガウスモデルの最尤推定

各要素の分散が等しく、共分散がぜろのときを考えることもある

それぞれのデータが従うガウス分布のパラメータを求めるには、そのカテゴリに属するデータのみを見れば良い

カテゴリの対数事後確立は

マハラノビス距離は、楕円を真円に変換した距離

等高線上での値が同じになるように距離を補正した

というのも、ありえない度合いは同じだから

白色化みたいなこと？

行列の平方根は、BB = Aとなる任意のBのこと

カテゴリごとに共分散行列を異なるとするとパラメータが多くてしんどいので全て同じだとする

するとカテゴリの

元々やりたかったのは識別関数を作るということ

そこで決定境界の計算をする

ガウスモデルと最尤推定かつ、分散共分散行列が同じだとしたときをフィッシャーの線型判別分析という

ガウス最尤推定によるパターン認識まとめ

・各カテゴリ

質問

各カテゴリの分散共分散行列が等しいという仮定は現実で起こり得るのか？

実際はまず起こり得ない

だからといってこの仮定が妥当ではないと考えるのはおかしい

あまりにパラメータが多すぎると、パラメータを少なくした方が有限個の標本のもとでは性能が良くなるので、この仮定は汎用性が意外とあると思われる

第3講

最尤推定方の良さ、振る舞いを理論的に調べる

以下、モデルq(x;θ)が正しいと仮定する

つまり真のパラメータθ*が存在すると仮定する

上が今日の仮定である

最尤推定法を使ったときに真の分布を生成しなかったとしても近い分布が得られれば良いという要請を考えることもあるが、今回は、真の分布が存在すると仮定する

最尤推定法の理論的性質

A) 一致性

B) 不偏性

C) 有効性

D) 漸近正規性

A) 一致性

推定量が一致性をもつとは言葉で表すと、標本が無限にたくさんあれば真のパラメータが求まるということ

確率論の言葉ではこれを、θ’ が θ*に確率収束するという

最尤推定量は一般に一致性を持つ

一般の分布に対して示すのはめんどいので平均があ最尤推定量になることを示す

マルコフの不等式というものがある

マルコフの不等式は確率分布の形を問わないため緩い場合が多い

これは指示関数を用いて簡単に証明できる

チェビシェフの不等式

確率分布の具体的な形はわからないあが、期待値と分散がわかるときチェビシェフの不等式によって裾確率の上限が計算できる

チェビシェフの不等式はマルコフの不等式を用いて証明できる

マルコフの不等式やチェビシェフの不等式は評価が緩い

期待二乗差というものがある

マルコフの不等式より期待二乗差がゼロに収束するならば一致性を持つ

B) 不偏性

一般の推定量については不偏性と一致性に包含関係はない

似ているが、数学的には全然ちゃう

最尤推定量は一般的に不偏性はもたないが、漸近不偏性をもつ

漸近不偏性は不偏性を緩めたもの

不偏性を満たさない推定量はバイアスを持つという

期待値の意味でのギャップをバイアスという

期待二乗誤差は分散と二乗バイアスに分けられる

分散が小さいことが嬉しい

バイアスも小さい方が嬉しい

C) 有効性

不偏性を諦めると分散は任意に小さくできるが、そのような推定量は意味がない

最小分散不偏推定量とは、不偏推定量の中で分散が最小の推定量

不偏推定量の分散の下界として、クラメール・ラオ不等式がある

フィッシャー情報量というものが出てくる

Vθ’ >= 1/n * F(θ*)-1

行列における>=はA-Bが半正定値という意味を持つ

フィッシャー情報量は、今考えてるモデルのもとでの、

前が縦ベクトル、次が横ベクトルなので、d*dの行列になる

それに期待値をとったようなものをフィッシャー情報行列という

本質的には１次元でも同じなので、１次元verで示す

この定義は期待値の形でも表すことができる

上の式のxは仮引数、したの式のxは確率密度関数に従うx

証明

微分して、θにθ*をいれる

この全体は、確率変数なので、それの和が0であるという性質を必要とする

対数尤度の微分の和をとってそれに推定量をかけて期待値をとると、1になるという性質がある

1次元クラメールラオ不等式の証明

θとZの共分散を考える（技巧的）

ゴリゴリ変形していくと、最後にコーシーシュワルツの不等式を用いて、求めたいものが求められる

下限を満たしているときに有効性を持つという

それが漸近的に成り立つときに漸近有効性を持つという

最尤推定量は一般に漸近有効性を持つ

有効推定量はバイアスがゼロのもとで分散を最小にする

だからといって期待二乗ごさが最小になるわけではない

というのも少しバイアスを許すと分散が大幅に低減できる可能性がある

D) 漸近正規性

漸近正規性とは分布が漸近的に正規分布に近づくこと

最尤推定量は一般に漸近正規性を持つ

証明には中心極限定理を用いる

フィッシャー情報行列とヘッセ行列

テイラー展開したものが標本平均みたいな形なので示せそう

標本フィッシャー行列

標本近似する

対数尤度の微分

標本近似する

対数尤度の微分があ標本フィッシャー行列

尤度方程式をテイラー展開して証明する

３つの足算が０になるためにそれぞれのオーダーがどうならなくてはいけないかを考える

これを解くと、

まとめ

最尤推定量の良さは漸近的に保障される

最尤推定量は漸近的に正規分布に従う

講義の流れ

1 最尤推定法におけるモデル選択

A) モデル選択の規準

B) 赤池情報量規準

C) 交差確認法

2 ガウス混合モデルの最尤推定

パラメトリック法

モデルが真の分布とあっていればパラメトリック法は少ない標本でも精度が良い

しかしモデルが大きく外れていたらいくら標本数を増やしても精度は向上しない

対処法としてはモデルを変えるしかない

モデルを選ぶ規準

パラメトリック法では、モデルの中に真の確率密度関数をよく近似するものが含まれていなければそもそも良い結果は得られない

→表現量の高い複雑なモデルが良い

パラメータ数が訓練標本すうに比べて多すぎる場合は最尤推定法の良さは理論的には保障されない

→表現力の低い単純なモデルが良い

これらのトレードオフがあるので、訓練標本を用いて適切なモデルを選ぶことをモデル選択という

モデル選択の流れ

１いくつかのパラメトリックモデルを用意する

2 それぞれのモデルに対して、最数推定量を求める

3 それぞれのモデルから得られた確率密度関数の推定量を求める

4 それらから真の確率密度関数に最も近いものを選ぶ

1 最尤推定法におけるモデル選択

A) モデル選択の規準

確率密度関数の近さを測る規準としてKL情報量がある

KL情報量が小さければq(x)は真の分布に近いと言える

KL情報量の推定

KL情報量には未知の確率密度関数が含まれているため直接計算できない

訓練標本からKL情報量を推定する

負の平均対数尤度はKL情報量の第2項の近似のとき一致する（大数の法則）

尤度を最大にするモデルを選べば良いのか？

実は、p’は左辺を最小かする分布として標本n個に依存して決まる関数

複雑なモデルほど右辺からのバイアスが大きい

もう少し精密なKL情報量の近似が必要

B) 赤池情報量規準

AICが最小のモデルを採用

モデルが程よく複雑な場合２つの項のバランスがよく小さくなり、AICが小さくなる

オッカムの剃刀

現象を同程度にうまく説明する仮説があるなら単純な方を選べ

「現象を同程度にうまく説明する仮説」：尤度が等しい２つのモデル

単純な方：パラメータが少ない方

AICの導出

C) 交差確認法

訓練標本をt個の部分集合に分割する

j番目の部分集合Tjに含まれる訓練標本を使わずに確率密度関数を推定

Tjにフィ希る標本の平均対数尤度を計算する

これを全てのjに対して行い、平均する

1つぬきLCV

標本を１つだけ抜いたLCVの有効性は有限標本に対して保障される

標本が１つ少ない場合の厳密な不偏推定量

まとめ

パラメトリック法では、よいパラメトリックモデルを選ぶ必要がある

モデルの良さをKL情報量で測る

KL情報量は直接計算できないので近似する必要がある

2 ガウス混合モデルの最尤推定

モデルの表現力

ガウスモデル+最尤推定

モデルが大体正しい場合、訓練標本数が比較的少なくても推定精度が良い

モデルが単純なため表現できる確率密度関数が限られる

ガウス混合モデル

有限個のガウスモデルの線型結合

通常のガウスモデルよりも複雑な確率密度関数を表現できる

ガウスカーネル密度推定より単純なので訓練標本が比較的少ない場合でも推定精度が良い

A) 最尤解の必要条件

ガウス混合モデルの最尤推定

対数尤度を最大にするようにθを決める

ただし拘束条件を考慮しなければならない

wjをうまくおくと、拘束条件は自動的に満たされる

尤度方程式が最尤推定解の必要条件である

しかしこの連立方程式は簡単には解けない

B) 勾配法

1 適当に初期値を定める

2 勾配を登るようにパラメータを更新する

3 収束するまで繰り返す

学習率の選び方が難しく、局所最適解しか見つけられない

C) EM(expectation-maximization algorithm)アルゴリズム

適当な初期値からEステップとMステップを反復

EMアルゴリズムによって尤度は単調非減少

Eステップ：θ(t)を通る対数尤度の下界を求めることに対応

Mステップ：下界を最大化するパラメータ値を求めることに対応

Eステップの導出

Mステップの導出

EMアルゴリズムの一般形

不完全データに対する最尤推定

モデルのパラメータθを最尤推定したい

完全な訓練標本のうち、その一部しか観測できない

Eステップ：現在のパラメータを用いて観測されない部分を推定し、完全データの対数尤度の期待値を計算

Mステップ：期待値を最大化するようにθを更新

ガウス混合モデルの場合

ηは標本xがj番目のガウス分布から出てくる確率と解釈

xiが出てきた本当の金剛の番号をyiとする

(xi, yi)がわかるとき、完全データに対する対数尤度

Eステップ：対数尤度のyiに関する期待値を計算

まとめ

パラメトリック法はモデルが大体正しくないとうまくいかない

モデル選択方が必要

赤池の情報量規準：計算は簡単だが、性能保証は漸近的

尤度交差確認ほう：有限標本に対して性能が保障されるが計算に時間がかかる

まとめ

ガウス混合モデル

ガウスモデルより複雑

ノンパラメトリックモデルより単純

勾配法

勾配を上昇するようにパラメータを更新

局所最適解が求まる

学習率を設定するのが難しい

EMアルゴリズム

学習率の設定は不要

局所解の問題は未解決→様々な初期値から何度か学習し、最適な値を採用する

第4講

講義の流れ

1 射影追跡とは

2 尖度に基づく射影追跡（勾配法）

3 尖度に基づく射影追跡（近似ニュートン法）

4 非ガウス性尺度の一般化

5 独立成分分析

1 射影追跡とは

独立同一標本とは、独立に同一な分布に従う標本

データの可視化

高次元のデータを低次元に射影する

どんな確率分布を可視化すれば有益か？

ガウス分布は球状の分布で、特段の特長がないため可視化しても大した情報が得られない

非ガウス分布は豊かな情報を持っている

やはりでーたを３次元以下にして視覚的に判断するのは大切

射影追跡

データの中で最も非ガウスな方向を見つけるアルゴリズム

ガウシアンを見つけてもしょうがないのでガウスではない方向を見つける

そのための、ガウシアンを図る指標を導入する

射影追跡では非ガウス性を測る尺度が必要

尖度：確率分布の鋭さを測る尺度

確率分布の裾が重ければ尖度が大きく、軽ければ尖度が小さい

2 尖度に基づく射影追跡（勾配法）

尖度の例

3：ガウス分布

3より小さい：尖ガウス分布

3より大きい：優ガウス分布

(β-3)^2が大きければ非ガウスせいが大きい

射影方向bの非ガウス性は内積によって測れる

尖度を標本で近似する

射影追跡の規準

Jppを大きくするようにbを更新する

勾配上昇法

Jppを増加させるようにbを更新する

||b|| = 1を満たすようにbを正規化する

を繰り返す

計算を簡単にするために前処理をする

本質とはあまり関係ない

データの中心化と球状化

中心化と球状化によるアルゴリズムの単純化

中心化と球状化はまとめて表現できる

勾配法はあまりお勧めじゃないので改良する

3 尖度に基づく射影追跡（近似ニュートン法）

勾配法の問題点として、収束の速さがステップ幅の選び方に依存

ステップ幅を適切に決めるのが困難

最初は大きくしといてあとから小さくすれば良さそう

新たな定式化

尖度を最大化/最小化する

ラグランジュ関数は解の必要条件

ニュートン法

やったことある

問題点として、各反復で逆行列を求める必要があり、計算時間がかかる

λの値が未知

近似ニュートン法

逆行列が簡単に計算できる

中心化と球状かによって共分散行列が単位行越

λに依存しないのはすごい

ものすごくうまくいく

4 非ガウス性尺度の一般化

外れ値とはデータの含まれる異常な値

もしガウス成分に外れ値が含まれると尖度の４時間数により非ガウス性が極端に大きくなる

たった１つの外れ値によって推定結果が無茶苦茶になってしまう

外れ値の影響を抑制したい

適当な関数Gを用いて非ガウス性尺度を定義

G(s) = s^4の時、尖度に対応

外れ値の影響を緩和するため、尖度よりもなだらかな関数を用いる

複数の非ガウス方向の抽出

方法１

異なる初期値から何度も射影追跡を行い、複数の異なる方向を見つける

方法2

これまで見つけた非ガウス方向と直交する方向を見つける

アルゴリズム

中心化と球状化を行う

5 独立成分分解

ブラインド信号源分離

カクテルパーティ問題

混合した信号を分離したい

原信号を観測信号から推定

混合行列を推定すればその逆を用いて原信号を推定できる

ブラインド信号現分離では、分離した信号の順列と大きさは重要ではない

iidを仮定

第5講最尤推定3

ベイズの定理の基づいて事後確立を考えていく

事前確率は単純にそのカテゴリに含まれる標本の割合で推定する

条件付き確率をもとめることを考えていく

今回もパラメトリック法について見ていく

1 最尤推定法におけるモデル選択

A) モデル選択の規準

B) 赤池情報量規準

C) 交差確認法

2 ガウス混合モデルの最尤推定

A) 最尤解の必要条件

B) 勾配法

C) EMアルゴリズム

1 最尤推定法におけるモデル選択

パラメトリック法では、モデルの中に真の確率密度関数をよく近似するものが含まれていなければそもそも良い結果は得られない

→表現力の高い複雑なモデルが良い

パラメータ数が訓練標本数に比べて多すぎる場合、最尤推定ほうの良さは理論的には保証されない

→表現力の低い単純なモデルが良い

これらのトレードオフを考える

モデル選択の流れ

1 いくつかのパラメトリックモデルを用意する

2 それぞれのモデルに対して、最尤推定量を求める

3 それぞれのモデルから得られた確率密度関数の推定量を定める

4 それらから真の確率密度関数に最も近いものを選ぶ

確率密度関数の近さを測る規準としてKL情報量を考える

KL情報量が小さければq(x)は真の分布に近いを言える

複雑なモデルほど右辺からのバイアスが大きくなるので、もう少し精密なKL情報量の近似が必要となる

そこで、赤池情報量規準と交差確認法を考える

AICの詳細

対数尤度しか計算できない

期待値は正確には求まらんので推定する

尤度交差確認は訓練標本をtこの部分集合に分割する

モデル選択まとめ

・パラメトリック法では、よいパラメトリックモデルを選ぶ必要がある

モデルの良さをKL情報量で測る

・KL情報量は直接計算できないので推定する

対数尤度はKL情報量の一致推定量だが、常に最も複雑なモデルを選んでしまう

赤池の情報量規準は計算は簡単だが、その保証は漸近正規性が前提

尤度交差確認法：有限標本に対して性能が保証されるが、計算に時間がかかる

2 ガウス混合モデルの最尤推定

ガウス混合モデルは、ガウス分布をいくつかかけ合わせた形である

ガウス混合モデルの最尤推定を考える

尤度方程式というものを解かないといけない

しかしこの方程式は簡単には解けないので、勾配法で数値計算する

勾配法は学習率の選び方が難しかったり、局所最適解しか見つけられないということがある

ガウス混合モデルの解釈

ガウス混合モデルは完全データからyiの観測が欠損したものとみなせる

観測が欠損していなければ推定は容易である

一般にこのような欠損値を含むデータからのパラメータ推定に有効なアルゴリズムとしてEMアルゴリズムがある

EMアルゴリズム

パラメータθが持つ確率分布を考え、yの観測が欠損している場合を考える

目標は観測xの尤度を最大化するパラメータを求めることである

EMアルゴリズムでは適当な初期ちからEステップ・Mステップを交互に繰り返すことで反復的にlogPθの最大化を行う

Eステップ

1 真のパラメータがθであると仮定しyの条件付き確率分布を求める

2 yがpθに従うと仮定して完全データの対数尤度の期待値の式を求める

Mステップ

Qを最大化するθを求める

EMアルゴリズムの原理

Eステップは尤度の下界を求めることに対応

θ=θtのとき等号が成立

MステップではQを最大化するので、尤度は単調非減少

ガウス混合モデルまとめ

・ガウス混合モデル

ガウスモデルより複雑

ノンパラメトリックモデルよりも単純

・勾配法：勾配を上昇するようにパラメータを更新

局所最適解が求まる

学習率を設定するのが難しい

・EMアルゴリズム：下界を最大化するようにパラメータを更新

学習率の設定は不要

局所解の問題は未解決→様々な初期値から何度か学習し、最適な値を採用する

第6講ノンパラメトリック法

理想的なパターン分類方として、事後確率を最大にするカテゴリにパターンを分類すればパターンの誤識別率が最小になる

実際には事後確率は未知なので、訓練標本から推定しなければならない

パラメトリック法は有限次元のパラメータを持つパラメトリックモデルを用いて確率密度関数を推定する方法で、ノンパラメトリック法はそれ以外である

カーネル密度推定や最近傍密度推定法がある

1 ノンパラメトリック法の基礎

2 カーネル密度推定法

3 最近傍密度推定法

4 最近傍識別器

1 ノンパラメトリック法の基礎

最も単純なノンパラメトリック法としてヒストグラム法がある

単純にヒスとグラフを用いて確率密度関数を推定する方法である

領域の分割の仕方を決めるのが難しい

もう少し工夫したものが二項分布である

これはn回やった

期待値と分散ぐらいは導出できるように

体積というのは、１次元の場合は線分の長さ、二次元だったら面積、、、という感じ

確率Pを２つの方法で近似する

これはテキトーすぎでは？

近似Aについては領域Rは大きいほうが良い！

近似Bについては領域Rが小さいほうが良い！

つまり全体の近似精度を上げるためには注目点xが領域rの中心となるようにしつつ、その大きさVを程よい値に木減り必要がある

・パーゼン窓法、カーネル密度推定法：Vを固定してkを標本から計算

・最近傍密度推定法：kを固定してVを標本から決定

・パーゼン窓法

注目点xごとに半自動的に領域Rが決定されるのでヒストグラム法のように領域の分割の仕方を考える必要はない

領域間での不連続性は未解決だが、バイアスは改善

領域の分割の仕方を決める必要はないが、パーゼン窓法のバンド幅hは適切に決める必要がある

2 カーネル密度推定法

パーゼン窓法を少し一般化したようなもの

パーゼン窓法の不連続性を解決したい

パーゼン窓関数を滑らかなカーネル関数に置き換える！

カーネル関数を決めることが必要

事前知識があれば、バンド幅行列を調整すれば良い

適切にバンド幅を推定できれば、結構真の分布に近いものが得られる

カーネル密度推定法の推定結果はバンド幅の選び方に依存する

バンド幅を程よい値に選択しなければならず、尤度交差確認法で選択する

まとめ

ノンパラメトリック法：パラメトリックモデルを用いない確率密度関数の推定法

ノンパラメトリック法では領域を適当に決める必要

パーゼン窓法：領域の形と体積を固定し、標本数をデータから決定する

カーネル密度推定法：パーゼン窓を滑らかなカーネル関数に置き換えた方法

3 最近傍密度推定法

kを固定して、Vを標本から決定する

近傍数は尤度交差確認によって近似的に求められるがこれには少し問題がある

例えば、演習問題のpは積分すると発散するんご

積分すると１にはならないので交差検証しても正しさの保証はできないんご

まとめ

カーネル密度推定法

滑らかなカーネルを使えば、滑らかな確率密度推定量が得られる