¿Por qué xgboost utiliza la expansión de Taylor de segundo orden para la función de costos?
Porque al hacer esto, puedes entender claramente todo el objetivo y deducir cómo aprender el árbol paso a paso. Podemos entender que el GBDT tradicional optimiza el residuo cuadrado, pero dicha forma contiene todas las funciones objetivo que se pueden derivar.
En otras palabras, con esta forma, el código escrito se puede utilizar para resolver diversos problemas, incluida la regresión, la clasificación y la clasificación, y la derivación formal puede hacer que las herramientas de aprendizaje automático sean más generales.
Hablemos de la respuesta corta: de hecho, la expansión de Taylor de segundo orden se usa para que xgboost pueda personalizar la función de pérdida. Si se deriva directamente de acuerdo con la función de pérdida del método de mínimos cuadrados, También se puede obtener la derivación final de Chen Lao. Sub:
La expansión de Taylor de segundo orden no es en realidad el método de mínimos cuadrados, la expansión de Taylor de segundo orden de la función de pérdida de cuadrados = el método de mínimos cuadrados. Pero, ¿por qué Chen Lao quería usar la expansión de Taylor de segundo orden? Supongo que fue por la escalabilidad de la biblioteca xgboost, porque cualquier función de pérdida puede reutilizar cualquier derivación del método de mínimos cuadrados realizada por Chen Lao siempre que sea segunda. -orden diferenciable.
Y la esencia de Taylor es intentar imitar una función. Supongo que la expansión de Taylor de segundo orden es suficiente para aproximar una gran cantidad de funciones de pérdida. Las típicas incluyen funciones de pérdida de probabilidad logarítmica basadas en clasificación. Oye, de esta manera el mismo conjunto de código puede completar la regresión o clasificación, en lugar de derivar y reescribir el código de entrenamiento cada vez.
Información ampliada:
Taylor es famoso por su teorema de cálculo que expande funciones en series infinitas. Este teorema se puede expresar a grandes rasgos como: el valor de una función en la vecindad de un punto se puede expresar mediante una serie infinita compuesta por el valor de la función en ese punto y los valores de las derivadas de cada orden.
Sin embargo, durante medio siglo, los matemáticos no se dieron cuenta del gran valor del teorema de Taylor. Este gran valor fue descubierto más tarde por Lagrange, quien caracterizó este teorema como el teorema fundamental del cálculo. Cauchy dio la prueba rigurosa del teorema de Taylor un siglo después de que naciera el teorema.
El teorema de Taylor creó la teoría de las diferencias finitas, permitiendo que cualquier función de variable única se expandiera en una serie de potencias; también convirtió a Taylor en el fundador de la teoría de las diferencias finitas. En el libro, Taylor también analiza la aplicación del cálculo a una variedad de problemas físicos.
Entre ellos, destacan los resultados relacionados con la vibración transversal de la cuerda. Derivó la fórmula de la frecuencia fundamental resolviendo ecuaciones y fue pionero en el estudio de los problemas de vibración de cuerdas. Además, este libro también incluye otros trabajos creativos en matemáticas, como la discusión de soluciones singulares a ecuaciones diferenciales ordinarias, la investigación sobre problemas de curvatura, etc.
Enciclopedia Baidu-Función de costo
Enciclopedia Baidu-Fórmula de Taylor