多元统计分析中,协方差矩阵比较重要,它研究多个变量的关系。
设随机向量 X \bf X X,它包括多个变量 X 1 X_1 X1, X 2 X_2 X2, …, X n X_n Xn,即
X = ( X 1 X 2 ⋮ X n ) \bf{X}=\left( \begin{array}{c} X_1\\ X_2\\ \vdots\\ X_n \end{array} \right) X=⎝⎜⎜⎜⎛X1X2⋮Xn⎠⎟⎟⎟⎞
它的期望为:
E ( X ) = ( E ( X 1 ) E ( X 2 ) ⋮ E ( X n ) ) E(\bf{X})=\left( \begin{array}{c} E(X_1)\\ E(X_2)\\ \vdots\\ E(X_n) \end{array} \right) E(X)=⎝⎜⎜⎜⎛E(X1)E(X2)⋮E(Xn)⎠⎟⎟⎟⎞
它的协方差阵为: c o v ( X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] = [ c o v ( X 1 , X 1 ) c o v ( X 1 , X 2 ) … c o v ( X n , X 1 ) c o v ( X 2 , X 1 ) c o v ( X 2 , X 2 ) … c o v ( X n , X 2 ) ⋮ ⋮ ⋱ ⋮ c o v ( X n , X 1 ) c o v ( X n , X 2 ) … c o v ( X n , X n ) ] \begin{aligned} cov(\bf{X}) &=E\left[(\bf X-E(X))(X-E(X))^T\right]\\ &=\left[ \begin{array}{cc} cov(X_1, X_1)&cov(X_1, X_2)&\dots&cov(X_n, X_1)\\ cov(X_2, X_1)&cov(X_2, X_2)&\dots&cov(X_n, X_2)\\ \vdots&\vdots&\ddots&\vdots\\ cov(X_n, X_1)&cov(X_n, X_2)&\dots&cov(X_n, X_n) \end{array} \right] \end{aligned} cov(X)=E[(X−E(X))(X−E(X))T]=⎣⎢⎢⎢⎡cov(X1,X1)cov(X2,X1)⋮cov(Xn,X1)cov(X1,X2)cov(X2,X2)⋮cov(Xn,X2)……⋱…cov(Xn,X1)cov(Xn,X2)⋮cov(Xn,Xn)⎦⎥⎥⎥⎤
其中,任意一个两个变量的协方差为: c o v ( X 1 , X 2 ) = E [ ( X 1 − E ( X 1 ) ) ( X 2 − E ( X 2 ) ) ] = E ( X 1 X 2 ) − E ( X 1 ) E ( X 2 ) cov(X_1, X_2)=E[(X_1-E(X_1))(X_2-E(X_2))]=E(X_1X_2)-E(X_1)E(X_2) cov(X1,X2)=E[(X1−E(X1))(X2−E(X2))]=E(X1X2)−E(X1)E(X2)
性质:
对于任意一个常数矩阵 A \bf A A,有 c o v ( AX ) = A c o v ( X ) A T cov(\textbf{AX})=\textbf{A}cov(\bf X)A^T cov(AX)=Acov(X)AT.证明:这个根据定义: c o v ( X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] cov(\bf{X}) =E\left[(\bf X-E(X))(X-E(X))^T\right] cov(X)=E[(X−E(X))(X−E(X))T],套进去就能证出来。
协方差阵为半正定矩阵.证明:对于任意非零向量 a a a, a T c o v ( X ) a = c o v ( a T X ) = E [ a T ( X − E ( X ) ) ( X − E ( X ) ) T a ] = E [ a T ( X − E ( X ) ) ] 2 ≥ 0 \begin{aligned} a^T cov(\textbf{X}) a=&cov(a^T\textbf{X})\\ =&E[a^T(\bf X-E(X))(X-E(X))^Ta]\\ =&E[a^T(\bf X-E(X))]^2\geq 0 \end{aligned} aTcov(X)a===cov(aTX)E[aT(X−E(X))(X−E(X))Ta]E[aT(X−E(X))]2≥0
这是由于 a T ( X − E ( X ) ) a^T\bf (X-E(X)) aT(X−E(X)) 是一个标量(数值)。这也意味着它的特征根是非负的。
由于协方差矩阵为正定矩阵,所以它可以进行 Cholesky 分解,即
Σ = C C T \Sigma=CC^T Σ=CCT 其中, C C C 为一个下三角矩阵,并且对角线元素为非负实数。
协方差阵可以正交对角化,即存在一个正交矩阵 P \bf P P 以及对角线矩阵 ∧ \bf \land ∧,使得 c o v ( X ) = P ∧ P T cov(\bf X)=P\wedge P^T cov(X)=P∧PT其中,对角线矩阵为协方差阵的特征值 ( λ 1 , λ 2 , … , λ n \lambda_1, \lambda_2, \dots, \lambda_n λ1,λ2,…,λn)。(这个定理证明比较难)。
而正交矩阵 P \bf P P 可以是协方差矩阵的特征向量矩阵,即 P = ( e 1 , e 2 , … , e n ) \bf P=(e_1, e_2, \dots, e_n) P=(e1,e2,…,en)。由于协方差矩阵是对称阵,它存在谱分解: c o v ( x ) = P ∧ P T = ( e 1 , e 2 , … , e n ) [ λ 1 λ 2 … λ n ] [ e 1 T e 2 T … e n T ] = ∑ λ i e i e i T \begin{aligned} cov\bf(x)=P\land P^T=&(e_1,e_2,\dots, e_n)\left[ \begin{array}{cc} \lambda_1\\ &\lambda_2&\\ &&\dots\\ &&&\lambda_n \end{array} \right] \left[ \begin{array}{cc} e^T_1\\ &e^T_2&\\ &&\dots\\ &&&e^T_n \end{array} \right]\\ =\sum\lambda_ie_ie_i^T \end{aligned} cov(x)=P∧PT==∑λieieiT(e1,e2,…,en)⎣⎢⎢⎡λ1λ2…λn⎦⎥⎥⎤⎣⎢⎢⎡e1Te2T…enT⎦⎥⎥⎤
λ i \lambda_i λi 是特征值, e i \bf e_i ei 是特征向量。(上面的式子中,将对角矩阵看成行向量阵,利用分块矩阵的乘法即可推出)
将各个变量标准化后,它的协方差阵为相关系数阵由于协方差矩阵为实对称阵,它的特征根一定为实数