回帰分析
回帰分析とは?
変数間の因果関係の方向性を仮定し、1つまたは複数の独立変数による従属変数の予測の大きさ(説明率)を検討する分析のこと。
- 単回帰分析:独立変数が1つの場合
- 重回帰分析:予測変数が2つ以上の場合
単回帰分析
単回帰分析では、独立変数と従属変数の間に、以下のような線的の関係があることを仮定する
単回帰モデル
単回帰式
- :実測値
- :予測値
- :切片
- :傾き(回帰係数)
- :残差
残差の最も小さい回帰式を求めたい ⇒ 最小二乗法
正規化方程式
これより最小二乗推定量は
決定係数
単回帰式によって得られた予測値が、どれくらい実測値を予測できているかを評価したい。
実測値と平均値の差は、予測値(回帰)による部分と、残りの部分(残差)に分けられる。
ここで最小二乗法の代数的性質を求めて置く。
1. 回帰直線は、標本平均点を通る
2. 残差の平均はゼロ
3. 残差は説明変数と無相関
⇔
4. 残差は推定値と無相関
⇔
ここで回帰による偏差は、残差と無相関なので
が成り立つ。
第一項を総平方和(Total Sum of Square)、第二項を説明された平方和(Explained Sum of Square)、第三項を残差平方和(Residual Sum of Square)と呼ぶことにする。
決定係数()は回帰式の精度を表す指標である。
重回帰分析
重回帰分析では、複数個の独立変数と従属変数の間に、以下のような線形の関係があることを仮定する
重回帰モデル
重回帰式
- :予測値
- :切片
- :重回帰係数
- :残差
偏回帰係数は他の独立変数の影響を除いた上で、ある独立変数の値が1変わった時に従属変数の値が平均的にどれだけ変化するかを示す。
偏回帰係数は、独立変数・従属変数の単位に依存するため標準化する