相関係数行列と固有行列の関係

何故、データ分布の主軸を求める問題が相関係数行列の固有ベクトルを求める問題になるのか？　

良く教科書に書いてあるように、ラグランジュの未定係数法なんかで説明をされても、なんか判ったような判らないような感じである。一方で固有ベクトルで出来た行列は方向を変えない変換を意味するから、・・・と考えると、まあ「何となくそうだろう！」と直感的にはわかるが・・・でも「もやもやした感じ」という状態である。そこで、なんとか頭スッキリの理解が出来ないかと、再度考えてみようというわけである。

既定となっている座標を変換するんだ！　という考え方で理解してみればきっとスッキリするのではないかという期待をもっている。とりあえず整理してみよう。

準備

まずは色々と定義をして準備にとりかかることにしよう。上の図のように２つの変数の分布が得られたとする。つまり身長と体重などのように、変数との２つの測度に関する組のデータが得られているわけである。

この時、得られたデータ配列を以下のように行列で表すとする。

ここで、新しい座標軸としてとが出来たと仮定しよう。強引だが仮定するのである。このともとと同様には直交していると考えるのは順当と思う。この新しい座標軸での値を持ってきて下のように行列で表すとする。

さらに強引かもしれないが、をに変換する一次変換があって、それは行列で以下のように表せるとしておく。

つまり、以下のように表せるとするのである。

どうなっていたら嬉しいの？

さて、準備した所で・・・つぎにどうなっていたら良いのかを考えることにする。

まず、元のデータの相関行列（正確には分散・共分散行列）はどのように表せるか？

それに対して、勝手に仮定した新しい座標での相関行列（正確には分散・共分散行列）はどうなるか？

ここで、望ましいのは新しい座標軸上では２つの変数のデータが無相関であるのが嬉しいのである。つまり、とがとなるようになっていれば嬉しいはずである。

つまり、相関行列（分散・共分散行列）を対角化してやればいいのである。

うん？　しかし・・・これじゃ、全然スッキリしない・・・・失敗ですね。