Modelo gaussiano único SGM y modelo de mezcla gaussiana GMM

Antes de comprender el modelo de mezcla gaussiana, primero echemos un vistazo a qué es una distribución gaussiana. Todo el mundo debería estar familiarizado con la distribución gaussiana, que es lo que solemos llamar distribución normal, también llamada distribución gaussiana. . La distribución normal es una distribución de probabilidad muy importante en los campos de las matemáticas, la física y la ingeniería, y tiene una influencia significativa en muchos aspectos de la estadística.

Características de la distribución normal

Centralidad: El pico de la curva normal se sitúa en el centro, donde está la media.

Simetría: La curva normal está centrada en la media y es simétrica de izquierda a derecha. Los dos extremos de la curva nunca se cruzan con el eje horizontal.

Variabilidad uniforme: La curva normal comienza desde la media y disminuye gradualmente de manera uniforme hacia los lados izquierdo y derecho respectivamente.

Si la variable aleatoria obedece a una distribución normal con expectativa y varianza matemática, se registra como . El valor esperado determina su posición y la desviación estándar determina la magnitud de la distribución. Cuando = 0, = 1, la distribución normal es la distribución normal estándar.

La distribución normal tiene una base práctica extremadamente amplia. La distribución de probabilidad de muchas variables aleatorias en la producción y los experimentos científicos se puede describir aproximadamente mediante la distribución normal. Por ejemplo, cuando las condiciones de producción se mantengan sin cambios, la resistencia, resistencia a la compresión, calibre, longitud y demás indicadores del producto; la longitud, peso y demás indicadores del mismo organismo; el error en la medición de la misma; mismo objeto; el punto de impacto a lo largo de la desviación en una determinada dirección; precipitación anual en una determinada zona y componentes de velocidad de las moléculas de gas ideal, etc. En términos generales, si una cantidad es el resultado de muchos pequeños factores aleatorios independientes, entonces se puede considerar que la cantidad tiene una distribución normal (consulte el teorema del límite central). Teóricamente, la distribución normal tiene muchas buenas propiedades y puede aproximar muchas distribuciones de probabilidad a partir de ella. También hay algunas distribuciones de probabilidad de uso común que se derivan directamente de ella, como la distribución lognormal, la distribución t, la distribución F, etc.

Los modelos gaussianos incluyen el modelo gaussiano único (SGM) y el modelo gaussiano mixto (GMM).

Un modelo cuya función de densidad de probabilidad obedece a la distribución normal anterior se denomina modelo gaussiano único y su forma específica es la siguiente:

Cuando los datos de muestra son datos unidimensionales ( Univariante), la probabilidad del modelo gaussiano. La función de densidad es:

Donde: es la media de los datos y es la desviación estándar de los datos.

Cuando los datos de muestra son datos multidimensionales (Univariados), la función de densidad de probabilidad del modelo gaussiano es:

Donde: es la media de los datos, es la covarianza y d es la dimensión de datos.

El modelo de mezcla gaussiana (GMM) es una extensión de la función de densidad de probabilidad gaussiana única. Utiliza múltiples funciones de densidad de probabilidad gaussiana (curvas de distribución normal) para cuantificar con precisión la distribución variable. varios basados ​​en el modelo estadístico de distribución con función de densidad de probabilidad gaussiana (curva de distribución normal).

Para explicarlo en un lenguaje más simple, se mezcla un solo modelo gaussiano y el modelo resultante es un modelo de mezcla gaussiana. Este submodelo es la variable oculta del modelo mixto. En términos generales, un modelo mixto puede utilizar cualquier distribución de probabilidad. El modelo mixto gaussiano se utiliza aquí porque la distribución gaussiana tiene buenas propiedades matemáticas y un buen rendimiento computacional.

GMM es el algoritmo de clustering más utilizado en la industria. En sí mismo es un método de agrupamiento probabilístico, que supone que todos los datos de muestra X se generan mediante una distribución mixta compuesta por K distribuciones gaussianas multivariadas mixtas.

La función de densidad de probabilidad del modelo de mezcla gaussiana se puede expresar como:

Donde:

es la probabilidad de que los datos observados pertenezcan al submodelo , ;

es la función de densidad de probabilidad del submodelo gaussiano único, o

Para funciones específicas, consulte la función de densidad de probabilidad del modelo gaussiano único anterior.

Existen muchos métodos para la estimación de parámetros, incluida la estimación de momento, el método de máxima verosimilitud, la estimación insesgada de varianza mínima consistente, la estimación de riesgo mínimo, la estimación de covarianza, el método de mínimos cuadrados, la estimación bayesiana, el método post hoc máximo y el riesgo mínimo. método, método de minimización y máxima entropía, etc. Los métodos más básicos son el método de mínimos cuadrados y el método de máxima verosimilitud.

La idea de estimación de máxima verosimilitud es: un experimento aleatorio tiene múltiples resultados posibles, pero en una prueba, hay y solo aparecerá un resultado. Si en una determinada prueba aparece el resultado w, se considera que la probabilidad de que ocurra este resultado es la más alta.

1) Escribe la función de probabilidad:

Suponiendo que la función de probabilidad de una sola muestra es, multiplica la función de probabilidad de cada muestra para obtener la función de probabilidad de la muestra

p>

2) Calcular el logaritmo de la función de verosimilitud:

El propósito es convertir el producto en una suma para facilitar las operaciones posteriores

3) Calcular la derivada y hacer la derivada 0, se obtiene la ecuación de verosimilitud:

y tomar el valor máximo en el mismo punto, por lo que se puede lograr el mismo propósito tomando la derivada y haciendo la derivada cero.

4) Resolviendo la ecuación de verosimilitud, los parámetros obtenidos son los parámetros requeridos

Para un único modelo gaussiano, la estimación de máxima verosimilitud (MLE) se puede utilizar para resolver los valores de los parámetros. .

La función de probabilidad logarítmica del modelo gaussiano único es:

Las fórmulas anteriores se dividen en derivadas parciales de y y luego se igualan a 0 , las estimaciones de parámetros correspondientes:

Si aún calcula los parámetros de acuerdo con el método de estimación de máxima verosimilitud anterior

La función de probabilidad logarítmica de GMM es:

Para lo anterior, encuentre la derivada parcial de cada parámetro con la fórmula y luego hágala igual a 0, y también debe adjuntar una condición adicional: .

Encontraremos que los parámetros no se pueden calcular por diferenciación directa. Por lo tanto, necesitamos usar otros métodos para resolver el problema de estimación de parámetros. Generalmente, usamos un método iterativo y estimamos usando el algoritmo de Maximización de Expectativas (EM).

Consulte mi otro artículo para conocer los principios y ejemplos específicos del algoritmo EM.