Una breve introducción a la matriz de covarianza

La covarianza se utiliza en teoría de probabilidad y estadística para medir el error general de dos variables. La varianza es un caso especial de covarianza, cuando dos variables son iguales.

De hecho, simplemente hablando, la covarianza es una variable que mide la correlación entre dos variables. Cuando la covarianza es positiva, las dos variables están correlacionadas positivamente (lo mismo aumenta y lo mismo disminuye); cuando la covarianza es negativa, las dos variables están correlacionadas negativamente (una aumenta y la otra disminuye); La matriz de covarianza simplemente expresa la relación de covarianza de todas las variables en forma de matriz. Matrix es una herramienta que facilita la realización de operaciones matemáticas.

Recuerde la definición matemática de varianza en estadísticas de probabilidad:

Var(X)=\frac{\sum_{i=1}^n{(x_i-\overline x)( x_i-\overline x)}}{n-1}

La definición matemática de covarianza es la misma:

Cov(X, Y)=\frac{\sum_{i =1 }^n{(x_i-\overline x)(y_i-\overline y)}}{n-1}

X e Y aquí representan dos espacios variables. En términos de aprendizaje automático, una muestra tiene dos características, x e y, y X es el conjunto de x características que contiene todas las muestras, e Y es el conjunto que contiene y características de todas las muestras.

Con la definición matemática anterior, podemos discutir la matriz de covarianza. Por supuesto, la covarianza en sí misma puede manejar problemas bidimensionales, y la matriz de covarianza de dos variables no tiene significado práctico. Sin embargo, para facilitar la promoción multidimensional posterior, todavía comenzamos con dos dimensiones.

Será más vívido explicarlo con un ejemplo.

Supongamos que tenemos 4 muestras, cada muestra tiene dos variables, es decir, dos características, las cuales se expresan de la siguiente manera: x_1=(1, 2), x_2=(3, 6), x_3 =( 4,2), x_4=(5,2)

Representado por una matriz:

Z=\begin{bmatrix} 1 amp 2 \\ 3 amp; 4 amp; 2 \\ 5 amp; 2 \end{bmatrix}

Ahora, usamos dos espacios variables X e Y para representar estas dos características:

X=\begin{ bmatrix} 1 \\ 3 \\ 4 \\ 5 \end{bmatrix}, \ \ \ Y=\begin{bmatrix} 2 \\ 6 \\ 2 \\ 2 \end{bmatrix}

Dado que la covarianza refleja la correlación entre dos variables, la matriz de covarianza representa la correlación por pares entre todas las variables. Específicamente, una matriz que contiene dos características, su matriz de covarianza debe tener un tamaño de 2 \times 2:

Cov(Z). =\begin{bmatrix} Cov(X,X) & Cov(X,Y) \ Cov(Y,X) amp Cov(Y, Y) \end{bmatrix}

A continuación, calculemos; los valores de Cov(Z) uno por uno. Primero, necesitamos calcular el promedio de los dos espacios de características X e Y: \overline x=3.25, \overline y=3.

Luego, cada elemento de la matriz de covarianza se calcula según la definición matemática de covarianza:

Cov(X,X)=\frac{(1-3.25)^2 (3-3.25)^ 2 ( 4-3.25)^2 (5-3.25)^2}{4-1}=2.9167

Cov(X, Y)=\frac{(1-3.25)(2-3) (3 -3,25)(6-3) (4-3,25)(2-3) (5-3,25)(2-3)}{4-1}=-0,3333

Cov(Y, X) =\frac{(2-3)(1-3.25) (6-3)(3-3.25) (2-3)(4-3.25) (2-3)(5-3.25)}{4- 1} =-0.3333

Cov(Y,Y)=\frac{(2-3)^2 (6-3)^2 (2-3)^2 (2-3)^2 }{ 4-1}=4

Entonces la matriz de covarianza

Cov(Z)=\begin{bmatrix} 2.9167 amp -0.3333 \\ -0.3333 amp; {bmatrix }

Bien, aunque esto es solo un ejemplo de características bidimensionales, ya podemos resumir la "rutina de cálculo" de la matriz de covarianza\Sigma:

\Sigma_{ ij }=\frac{(matriz de muestra i-ésima columna-i-ésima columna media)^T(matriz de muestra j-ésima columna-j-ésima columna media)}{Número de muestra-1}

El ejemplo mencionado aquí La matriz puede hacer referencia a Z en el ejemplo anterior.

A continuación, utilice la "ley universal" para calcular la matriz de covarianza presentada anteriormente. Supongamos que tenemos tres muestras: x_1=(1,2,3,4)^T, x_2=(3,4,1,2)^T, x_3=(2,3,1,4)^T. De la misma manera, los expresamos como matrices de muestra:

Z=\begin{bmatrix} 1 amperio 2 amperio 4 \\ 4 amperio; 2 amp 3 amp; 1 amp; 4 \end{bmatrix}

De acuerdo con la rutina de cálculo dada anteriormente, primero debemos calcular la media de cada columna de la matriz, de izquierda a derecha: 2 , 3, 1,67, 3,33. Luego, de acuerdo con la fórmula mencionada anteriormente, calcula el valor de cada elemento de la matriz. Por cierto, la matriz de covarianza de las cuatro variables tiene un tamaño de 4 \times 4:

\Sigma_{11} =\frac{ (Columna 1-Media de la columna 1)^T(Columna 1-Media de la columna 1)}{Número de muestras-1}=\frac{(-1, 1, 0)^T(-1, 1, 0)}{2}=1

(Las siguientes son análogas)

Las discusiones anteriores se calculan para situaciones generales. Después de todo, hay pocos casos en los que las variables son independientes. el uno del otro.

Sin embargo, si las dos variables X e Y son independientes, entonces su covarianza Cov(X, Y) = 0. La breve prueba es la siguiente (para simplificar, supongamos que las variables son discretas):

Dado que X e Y son independientes, sus funciones de densidad de probabilidad satisfacen: p(x, y)=p_x(x)p_y (y).

Encuentra la expectativa:

\begin{eqnarray} E(XY) amp; = amp;\sum_x \sum_y {x \times y \times p(x, y)} \notag \ amp; = amp;\sum_x \sum_y x \times y \times p_x(x) \times p_y(y) \notag \ amp; = amp;\sum_x{x \times p_x(x)}\sum_y{ y \times p_y(y)} \notag \ amp; = amp;E(X)E(Y) \notag \end{eqnarray}

Otra fórmula que usa covarianza: Cov(X, Y)= E(X, Y)-E(X)E(Y), se puede deducir que cuando X e Y son independientes entre sí, Cov(X, Y)=0.

En este momento, la matriz de covarianza se convierte en una matriz diagonal: Cov(Z)=\begin{bmatrix} Cov(X, X) amp 0\\ 0 amp; end{bmatrix}

Aunque ya sabemos cómo calcular la matriz de covarianza, hay una pregunta más importante: ¿Cuál es el papel de la matriz de covarianza? Como herramienta matemática, la matriz de covarianza se utiliza a menudo para calcular alguna relación entre características.

En los artículos sobre aprendizaje automático, la probabilidad de aparición de matrices de covarianza sigue siendo muy alta y el análisis de componentes principales (PCA) utilizado para la reducción de dimensionalidad utiliza matrices de covarianza. Además, dado que la matriz de covarianza es una matriz simétrica, contiene muchas propiedades útiles, lo que también la hace más popular.