协方差矩阵

mac2024-11-13  12

多元统计分析中,协方差矩阵比较重要,它研究多个变量的关系。

设随机向量 X \bf X X,它包括多个变量 X 1 X_1 X1, X 2 X_2 X2, …, X n X_n Xn,即

X = ( X 1 X 2 ⋮ X n ) \bf{X}=\left( \begin{array}{c} X_1\\ X_2\\ \vdots\\ X_n \end{array} \right) X=X1X2Xn

它的期望为:

E ( X ) = ( E ( X 1 ) E ( X 2 ) ⋮ E ( X n ) ) E(\bf{X})=\left( \begin{array}{c} E(X_1)\\ E(X_2)\\ \vdots\\ E(X_n) \end{array} \right) E(X)=E(X1)E(X2)E(Xn)

它的协方差阵为: c o v ( X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] = [ c o v ( X 1 , X 1 ) c o v ( X 1 , X 2 ) … c o v ( X n , X 1 ) c o v ( X 2 , X 1 ) c o v ( X 2 , X 2 ) … c o v ( X n , X 2 ) ⋮ ⋮ ⋱ ⋮ c o v ( X n , X 1 ) c o v ( X n , X 2 ) … c o v ( X n , X n ) ] \begin{aligned} cov(\bf{X}) &=E\left[(\bf X-E(X))(X-E(X))^T\right]\\ &=\left[ \begin{array}{cc} cov(X_1, X_1)&cov(X_1, X_2)&\dots&cov(X_n, X_1)\\ cov(X_2, X_1)&cov(X_2, X_2)&\dots&cov(X_n, X_2)\\ \vdots&\vdots&\ddots&\vdots\\ cov(X_n, X_1)&cov(X_n, X_2)&\dots&cov(X_n, X_n) \end{array} \right] \end{aligned} cov(X)=E[(XE(X))(XE(X))T]=cov(X1,X1)cov(X2,X1)cov(Xn,X1)cov(X1,X2)cov(X2,X2)cov(Xn,X2)cov(Xn,X1)cov(Xn,X2)cov(Xn,Xn)

其中,任意一个两个变量的协方差为: c o v ( X 1 , X 2 ) = E [ ( X 1 − E ( X 1 ) ) ( X 2 − E ( X 2 ) ) ] = E ( X 1 X 2 ) − E ( X 1 ) E ( X 2 ) cov(X_1, X_2)=E[(X_1-E(X_1))(X_2-E(X_2))]=E(X_1X_2)-E(X_1)E(X_2) cov(X1,X2)=E[(X1E(X1))(X2E(X2))]=E(X1X2)E(X1)E(X2)

性质:

对于任意一个常数矩阵 A \bf A A,有 c o v ( AX ) = A c o v ( X ) A T cov(\textbf{AX})=\textbf{A}cov(\bf X)A^T cov(AX)=Acov(X)AT.

证明:这个根据定义: c o v ( X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] cov(\bf{X}) =E\left[(\bf X-E(X))(X-E(X))^T\right] cov(X)=E[(XE(X))(XE(X))T],套进去就能证出来。

协方差阵为半正定矩阵.

证明:对于任意非零向量 a a a a T c o v ( X ) a = c o v ( a T X ) = E [ a T ( X − E ( X ) ) ( X − E ( X ) ) T a ] = E [ a T ( X − E ( X ) ) ] 2 ≥ 0 \begin{aligned} a^T cov(\textbf{X}) a=&cov(a^T\textbf{X})\\ =&E[a^T(\bf X-E(X))(X-E(X))^Ta]\\ =&E[a^T(\bf X-E(X))]^2\geq 0 \end{aligned} aTcov(X)a===cov(aTX)E[aT(XE(X))(XE(X))Ta]E[aT(XE(X))]20

这是由于 a T ( X − E ( X ) ) a^T\bf (X-E(X)) aT(XE(X)) 是一个标量(数值)。这也意味着它的特征根是非负的。

由于协方差矩阵为正定矩阵,所以它可以进行 Cholesky 分解,即

Σ = C C T \Sigma=CC^T Σ=CCT 其中, C C C 为一个下三角矩阵,并且对角线元素为非负实数。

协方差阵可以正交对角化,即存在一个正交矩阵 P \bf P P 以及对角线矩阵 ∧ \bf \land ,使得 c o v ( X ) = P ∧ P T cov(\bf X)=P\wedge P^T cov(X)=PPT

其中,对角线矩阵为协方差阵的特征值 ( λ 1 , λ 2 , … , λ n \lambda_1, \lambda_2, \dots, \lambda_n λ1,λ2,,λn)。(这个定理证明比较难)。

而正交矩阵 P \bf P P 可以是协方差矩阵的特征向量矩阵,即 P = ( e 1 , e 2 , … , e n ) \bf P=(e_1, e_2, \dots, e_n) P=(e1,e2,,en)。由于协方差矩阵是对称阵,它存在谱分解: c o v ( x ) = P ∧ P T = ( e 1 , e 2 , … , e n ) [ λ 1 λ 2 … λ n ] [ e 1 T e 2 T … e n T ] = ∑ λ i e i e i T \begin{aligned} cov\bf(x)=P\land P^T=&(e_1,e_2,\dots, e_n)\left[ \begin{array}{cc} \lambda_1\\ &\lambda_2&\\ &&\dots\\ &&&\lambda_n \end{array} \right] \left[ \begin{array}{cc} e^T_1\\ &e^T_2&\\ &&\dots\\ &&&e^T_n \end{array} \right]\\ =\sum\lambda_ie_ie_i^T \end{aligned} cov(x)=PPT==λieieiT(e1,e2,,en)λ1λ2λne1Te2TenT

λ i \lambda_i λi 是特征值, e i \bf e_i ei 是特征向量。(上面的式子中,将对角矩阵看成行向量阵,利用分块矩阵的乘法即可推出)

将各个变量标准化后,它的协方差阵为相关系数阵由于协方差矩阵为实对称阵,它的特征根一定为实数
最新回复(0)