Serie de algoritmos EM (2): desigualdad de Jenson

Una desigualdad muy importante utilizada en la derivación del algoritmo EM es la desigualdad de Jenson. Creo que todos han aprendido esta desigualdad en cursos de matemáticas avanzadas. Aquí hay una breve revisión de sus propiedades. p>

Sea f una función cuyo dominio son los números reales, si para todos los números reales x. Si la segunda derivada de f(x) es mayor o igual a 0 para todos los números reales x, entonces f es una función convexa. Cuando x es un vector, si su matriz de arpillera H es semidefinida positiva, entonces f es una función convexa. Si sólo es mayor que 0 pero no igual a 0, entonces se dice que f es una función estrictamente convexa.

La desigualdad de Jensen se expresa de la siguiente manera:

Si f es una función convexa y X es una variable aleatoria, entonces: E[f(X)]gt =f(E[; X])

En particular, si f es una función estrictamente convexa, la ecuación anterior toma el signo igual si y sólo si X es una constante.

Quedará muy claro si se representa mediante un diagrama:

En el diagrama, la línea sólida f es una función convexa, X es una variable aleatoria, hay una probabilidad de 0,5 que sea a, y hay una probabilidad de 0,5 de que sea b. (Como lanzar una moneda al aire). El valor esperado de

Cuando f es una función (estrictamente) cóncava si y sólo si -f es una función (estrictamente) convexa.

Cuando se aplica la desigualdad de Jensen a una función cóncava, la dirección del signo de la desigualdad se invierte.