Science Network - Pensamiento estadístico tal como lo entiendo - Blog de Wang Wei

En su autobiografía de 1907, el famoso novelista estadounidense Mark Twain citó un pasaje de Benjamin Disraeli, ex primer ministro británico:

Hay tres tipos de mentiras: mentiras, malditas mentiras, y estadísticas

Debido a la gran popularidad de Mark Twain, esta frase circuló ampliamente después de que la dijo.

Todo el mundo ha estudiado matemáticas durante muchos años. Una de las razones por las que deberíamos aprender matemáticas es, por supuesto, que usaremos algunas matemáticas en nuestra vida diaria y en nuestra profesión. como herramienta. Una persona que domina las matemáticas a menudo tiene características como una lógica sólida y cálculos precisos. ¿Qué pasa con las estadísticas?

Las estadísticas son cada vez más importantes por un lado. Cuando las personas toman decisiones, deben tener estadísticas y utilizarlas como talismán. Al mismo tiempo, hay personas como Mark Twain que se burlan de las estadísticas. Incluso en el mundo académico, mucha gente cree que la estadística es sólo una parte de las matemáticas, pero más estadísticos creen y han enfatizado repetidamente que la estadística y las matemáticas son completamente diferentes;

Puede que nos resulte más fácil sentir lo que significa tener conocimientos económicos, lo que significa ser literario y lo que significa tener conocimientos musicales. Entonces, ¿qué significa tener una mentalidad estadística? ¿Células estadísticas? ¿Y qué pasa con la alfabetización estadística? No es fácil de explicar con claridad. Este artículo intenta hablar sobre los temas anteriores explicando la forma del pensamiento estadístico.

1. Entender correctamente la importancia del pensamiento estadístico.

Veamos primero un ejemplo. En noviembre de 1985, un académico estadounidense Gary Taylor encontró un poema (llamémoslo “poema de Taylor”) en una biblioteca de la Universidad de Oxford, Inglaterra, que desencadenó un debate entre académicos británicos y estadounidenses que estudiaban las obras literarias de Shakespeare durante la Gran Guerra. El foco del debate fue si este poema fue escrito por Shakespeare.

Muchos expertos creen que este "poema de Taylor" es muy diferente de otras obras de Shakespeare en términos de elección de palabras y estilo de rima. Dos meses después del debate, la revista Science del 24 de enero de 1986 publicó un artículo "El nuevo poema de Shakespeare: una oda a la estadística", presentando a dos estadísticos, Efron y Thisted, el proceso de utilizar métodos estadísticos para identificar si este "poema de Taylor" fue escrito. por Shakespeare.

El método de Efron y Thisted es el siguiente: cada uno tiene sus propios hábitos de uso de las palabras, especialmente para las palabras raras, las diferencias en los hábitos utilizados por cada autor pueden ser aún mayores. En el total de obras conocidas de Shakespeare, hay 884.647 palabras, incluidas 31.534 palabras diferentes. Entre estos diferentes personajes, 14.376 caracteres aparecen sólo una vez de principio a fin, y 4.343 caracteres aparecen sólo dos veces. Se cuentan las palabras que aparecen varias veces. Aquellas palabras que aparecen con menos frecuencia en el total de las obras son las palabras raras de Shakespeare. Con base en estos datos, suponiendo que el "Poema de Taylor" de ***429 palabras fue escrito por Shakespeare, estimaron que habría varias palabras que nunca han aparecido en la obra total (es decir, palabras nuevas) y solo aparecieron una vez. 2 veces,..., hasta que haya aparecido 99 veces, se da el valor estimado. La situación real coincidía muy bien con la estimación.

Si esto no fuera suficiente, ¿podría ser que todos los poetas de esa época tenían hábitos similares en el uso de palabras? Por lo tanto, los dos encontraron tres poetas que eran aproximadamente contemporáneos de Shakespeare y seleccionaron un poema de cada uno de ellos, así como otros cuatro poemas de Shakespeare, para compararlos con este poema de Taylor. Después de tres pruebas estadísticas, se descubrió que para las tres primeras piezas, si se supone que son obras de Shakespeare, el valor real del número de apariciones de palabras raras no coincide con el valor estimado.

Aunque existen diferencias ocasionales en los cuatro poemas seleccionados de Shakespeare, en general son aceptables. Efron y Thisted dijeron que su análisis no podía probar completamente que los "poemas de Taylor" fueran escritos por Shakespeare, pero el uso de palabras raras era tan consistente con las obras generales de Shakespeare que resultaba sorprendente.

Un debate literario se apaciguó rápidamente después de que los estadísticos hablaran. No es de extrañar que rindan homenaje a las estadísticas. El uso de métodos estadísticos para la toma de decisiones refleja un pensamiento objetivo y racional. En lugar de argumentos subjetivos sobre si el estilo es el mismo o no, es mejor utilizar métodos estadísticos objetivos para determinarlo. Pero ¿cómo podemos ser lo suficientemente objetivos? Además de examinar sólo la "poesía de Taylor", Efron y Thisted también la compararon con varios poetas contemporáneos de Shakespeare, lo cual era más seguro. En caso de que los poetas del período de Shakespeare tuvieran hábitos similares de uso de palabras poco comunes, como era la moda, esta prueba no tendría valor de referencia.

Las estadísticas, al igual que nuestro pensamiento, deben ser objetivas, de lo contrario nos estaríamos engañando a nosotros mismos y a los demás. Por otro lado, si nuestro pensamiento es estadístico, es extremadamente objetivo.

William J. Sutherland, profesor de la Universidad de Cambridge en el Reino Unido, y otros publicaron un artículo en la revista "Nature" en 2013 titulado "20 hechos que debes saber al interpretar puntos de vista científicos", después Al leerlo, descubrí que todos los hechos científicos mencionados en él están relacionados con el pensamiento estadístico.

La estadística es una de las herramientas más importantes de la investigación científica moderna. El famoso biólogo británico Galton dijo una vez: "La estadística tiene la extraordinaria capacidad de abordar problemas complejos. Cuando los exploradores científicos encuentran obstáculos en el camino. , sólo las estadísticas pueden ayudarlos a abrir un canal. "Al utilizar las conclusiones de la investigación científica para ayudar a la toma de decisiones en la vida real, se debe tener un buen pensamiento estadístico para mantener una comprensión clara de las conclusiones científicas e interpretarlas con mayor precisión. La verdad científica. detrás de esto.

La era del big data ha pasado de la escasez de información al desbordamiento de información. La crisis de la escasez de información ha dado paso a la dificultad de la detección de información. En este contexto, los métodos científicos se han convertido en un curso obligatorio para todos. En el mundo actual, en el que se depende cada vez más de los datos, sólo estableciendo un pensamiento estadístico correcto podremos llevar a cabo eficazmente el procesamiento y análisis de datos. El mundo de hoy está entrando en la era del big data con la explosión de la información. Las estadísticas son cada vez más importantes, lo que confirma la predicción del escritor británico de ciencia ficción H.G. Wells: "El pensamiento estadístico algún día se convertirá en un ciudadano eficiente como leer y escribir".

La estadística se utiliza ampliamente en diversas disciplinas, desde las ciencias naturales hasta las humanidades y las ciencias sociales, e incluso en la toma de decisiones de inteligencia en la industria, el comercio y el gobierno. Como herramienta y medio para comprender la naturaleza y la sociedad, las estadísticas estudian la relación cuantitativa entre fenómenos objetivos y ayudan a los formuladores de políticas a comprender el papel de la evidencia de la investigación científica en la toma de decisiones. Como dijo Fisher, el fundador de la estadística moderna: "El aspecto único que trajo el progreso humano al siglo XX son las estadísticas. La ubicuidad de las estadísticas y su aplicación para abrir nuevos campos de conocimiento han superado con creces las del siglo XX. invención tecnológica o científica.”

Ma Yinchu dijo una vez: “Los académicos no pueden estudiar sin estadísticas, los industriales no pueden practicar sin estadísticas y los políticos no pueden gobernar sin estadísticas. En el proceso de datos, extraer información de los datos y demostrar la confiabilidad de las conclusiones juega un papel muy importante en la mejora de la cognición humana. Ya sea que se trate de una investigación científica para desentrañar los misterios de la naturaleza, examinando a los autores de las primeras obras literarias anónimas, dando una cronología de artefactos arqueológicos o resolviendo disputas judiciales y tomando las mejores decisiones, el pensamiento estadístico juega un papel importante.

La estadística es un tipo de comprensión de la experiencia a la racionalidad, y es una ciencia que utiliza el descubrimiento accidental de reglas. No es sólo un método o una técnica, sino que también contiene elementos de una visión del mundo: una forma de ver miles de cosas en el mundo. Esto es lo que la gente suele decir cuando habla de cómo se ve algo estadísticamente. El desarrollo del pensamiento estadístico requiere no sólo aprender algunas instrucciones específicas, sino también ser capaz de conectar estas instrucciones en una imagen orgánica y clara desde una perspectiva de desarrollo para ganar un sentido de profundidad histórica.

Como dijo una vez el alemán Sleuze: "La estadística es historia dinámica, y la historia es estadística estática".

Desde un punto de vista estadístico, el conocimiento que la gente obtiene de la experiencia o los experimentos contiene diversos elementos. De manera determinista, la estadística se centra en la medición. de la incertidumbre contenida en este conocimiento. Una vez que se pueda medir la incertidumbre, el conocimiento de las personas se ampliará y su comprensión del mundo avanzará. Este proceso es El proceso de acumulación de conocimiento humano se repite constantemente. No es de extrañar que alguien concluyera:

En última instancia, todo conocimiento es historia: el conocimiento que tenemos ahora es el resumen y derivado de cosas descubiertas en el pasado.

En forma abstracta; En este sentido, toda ciencia es matemática: todo conocimiento se puede resumir en razonamientos y operaciones matemáticas.

Sobre la base de la racionalidad, todos los juicios se originan en la estadística: Todos los juicios son todos resúmenes de patrones pasados; digamos, juzgar tendencias futuras basándose en datos pasados ​​y modelos de probabilidad de currículums.

2. ¿Qué es el pensamiento estadístico y sus métodos comunes?

Primero, echemos un vistazo a qué hacen exactamente las estadísticas.

Encontrar la regularidad a partir de la aleatoriedad es la idea básica de la estadística y también el encanto de la estadística.

En pocas palabras, los dos conceptos centrales expresados ​​en estadística son:

La mayor parte del conocimiento que aprendimos en la escuela secundaria analiza cuestiones de inevitabilidad. Cuando dice 1, es 1, sin ningún error. Una vez que se demuestra que una proposición es verdadera, la pregunta siempre seguirá siendo cierta sin excepción, a menos que pueda encontrar una laguna en la prueba. En estadística, hay problemas de aleatoriedad en todas partes. Permite errores, pero la ausencia de errores haría sospechar que hay algo falso. Las estadísticas también darán una garantía firme sobre un problema, pero todas sus garantías se basan en la probabilidad. Además, la probabilidad garantizada no sólo no es del 100%, sino que también contiene errores. Las estadísticas están llenas de "incertidumbre". Por ejemplo, afirmar que existe un 95% de probabilidad de que el volumen de una determinada bebida esté entre 425 ml y 431 ml es una garantía estadística típica. Las estadísticas representan una forma en que vemos el mundo.

En un mundo aleatorio, la verdad muchas veces es difícil de decir. Todo son hipótesis, depende de cuál estés dispuesto a aceptar. El significado de aceptación es como en una boda, cuando la novia asiente y dice "Sí, quiero", no significa que el novio sea realmente el más adecuado para ella. Es sólo que "está dispuesta a aceptarlo por ahora". De manera similar, en estadística, aceptación no significa verdadero y rechazo no significa falso. Los juicios de los estadísticos siempre darán errores, lo cual es una especie de inferencia estadística con errores permitidos.

La probabilidad y el error constituyen los dos pilares del pensamiento estadístico. y desarrolla casi todos los puntos clave de la estadística.

Existe una cierta correspondencia entre los métodos de la estadística y la forma de pensar de las personas. A continuación enumeraremos algunas formas comunes de pensar en estadística.

(1) Sé bueno en el uso de datos.

"¡Datos! ¡Datos! ¡Datos!", gritó con impaciencia. "No puedo hacer ladrillos sin arcilla". diciendo Una frase dicha por Sherlock Holmes en la novela.

No hay círculo sin reglas, ni pared de ladrillos sin arcilla, ni toma de decisiones sin datos.

Holmes puede basarse en algunas pistas encontradas en la escena del crimen para especular que el sospechoso podría ser zurdo o haber pasado por un huerto. Los adivinos y adivinos también dependen de los datos. Reúna la suerte de muchas caras, horóscopos, etc. diferentes. Después de "leer a muchas personas", naturalmente será fácil analizar el futuro de las personas en función de sus caras. ¿No leen también a mucha gente aquellos que son buenos para ver la naturaleza humana? Tomar decisiones requiere datos, y cada dato puede ser información útil. Para poder utilizar tus habilidades como estadístico, debes hacer un buen uso de la información. Entonces, para los estadísticos, los datos son como el arroz para las ratas.

(2) Debes tener una mente que sea buena para capturar la incertidumbre.

La inevitabilidad y la aleatoriedad están entrelazadas en el funcionamiento del universo. Por ejemplo, sabemos que el cometa Halley se acerca a la Tierra cada 76 años (esto es inevitable). Aunque podemos saber qué pasó 76 años después, ¿lloverá mañana? No es tan seguro (aleatoriedad). Para otro ejemplo, suelte la moneda que tiene en la mano. Aprendí en el curso de física de la escuela secundaria que si se ignora la resistencia del aire, el tiempo que tarda la moneda en caer al suelo es un valor fijo cuando la altura es fija. . ¿Pero qué lado mira hacia arriba después del aterrizaje? Es imposible de predecir. Esto es incertidumbre.

La gente sabe aproximadamente lo que sucederá en el futuro y cuándo sucederá, pero no pueden comprenderlo completamente. En un mundo aleatorio, la inevitabilidad hace que las personas estén dispuestas a prepararse con mucha antelación, mientras que la incertidumbre hace que las personas estén llenas de esperanza o temor por el futuro. En un mundo donde sólo hay inevitabilidad y ningún cambio, habrá falta de esperanza para el futuro y la gente perderá la motivación para trabajar duro. En un mundo en el que sólo hay aleatoriedad y suerte, la gente perderá la determinación de ser positiva y seria. Tres puntos están destinados, cinco puntos dependen del trabajo duro y dos puntos dependen de la suerte. Este es el gran diseño del Creador.

Debido a la existencia de incertidumbre, lo único que podemos hacer es entenderla, y en muchos casos intentar reducir dichas incertidumbres. Por lo tanto, nuestros antepasados ​​resumieron algunas de las llamadas leyes para hacer frente a esa incertidumbre en el mundo aleatorio. Por ejemplo, la ley de los grandes números y otra ley aleatoria importante es el teorema del límite central.

Hacer predicciones y estimaciones en estadística es esencialmente hacer generalizaciones parciales. Aunque es parcial, puede generalizar. Ésta es la habilidad de los estadísticos.

(3) Tenga la mentalidad de creer en la probabilidad

El matemático Pierre-Simon Laplace dijo una vez: “La mayoría de las preguntas más importantes de la vida son solo una cuestión de probabilidad”. En el mundo aleatorio, todo el mundo está familiarizado con la palabra probabilidad, pero no mucha gente entiende realmente su significado.

¿Cuál es exactamente el significado de probabilidad? En situaciones como tirar dados o echar suertes, normalmente interpretamos la probabilidad en términos de "igual probabilidad". Es decir, hay 6 caras del dado y la probabilidad de que aparezca cada cara se considera 1/6. Esta explicación es bastante aplicable en la vida diaria. Cuando no hay otra información, a menudo se supone que todos los resultados posibles tienen la misma probabilidad de ocurrir.

La segunda forma es explicar la probabilidad en términos de frecuencia relativa. Por ejemplo, si el porcentaje de tiro de un jugador de baloncesto profesional en el pasado fue 0,527, significa que el porcentaje de tiro del jugador probablemente será 0,527 la próxima vez que lance. Esta explicación común de la probabilidad también es relativamente objetiva. La base teórica detrás de esto es la ley de los grandes números. El fenómeno objetivo se puede observar repetidamente.

La última forma es la probabilidad subjetiva. Por ejemplo, la probabilidad de que la selección brasileña gane la Copa del Mundo, la probabilidad de alcanzar a cierta chica, etc. son probabilidades subjetivas. Estos eventos no se pueden observar repetidamente y son eventos únicos.

Las tres interpretaciones de probabilidad anteriores a veces se usan indistintamente o se verifican entre sí.

También existen pequeños eventos de probabilidad. Las cosas que al principio pensabas que eran imposibles definitivamente sucederán siempre que las observes suficientes veces. Algunas personas llaman a esto la ley de los números verdaderamente grandes. Cuando una pequeña posibilidad se encuentra con una muestra grande, su ocurrencia no será demasiado sorprendente. En un mundo aleatorio, crea en la probabilidad en lugar de desafiarla.

(4) Tenga una mentalidad de estimación razonable

Había una vez un niño que vendía palitos de masa fritos y siempre ponía todo el dinero que ganaba vendiendo palitos de masa en una cesta que contiene palitos de masa frita. Un día, necesitaba orinar urgentemente, así que puse la canasta sobre una piedra grande y fui al baño. Cuando regresé después de un tiempo, fue como un rayo caído del cielo. Todo el dinero en la canasta se había acabado. Lloró y corrió a decírselo al magistrado. Después de escuchar esto, el magistrado del condado pidió a alguien que trajera la piedra para interrogarla. A pesar de las repetidas amenazas, Shitou no dijo una palabra. El magistrado se enojó y pidió a la gente que usara palos para golpear las rocas.

Pero incluso si el palo se rompe, la piedra sigue sin hablar. La gente que observaba la emoción se rió. El magistrado se enojó aún más y multó a los espectadores para que tomaran dos monedas de cobre cada uno y las arrojaran en una palangana llena de agua. De repente, el magistrado del condado señaló a una persona y dijo: "Tú eres quien robó el dinero". El hombre gritó que había sido agraviado y todos estaban confundidos. El magistrado del condado explicó: "El niño vendía palitos de masa frita y su dinero estaba todo manchado de aceite. Cuando otras personas arrojaron su dinero al agua, no había aceite flotando sobre él. Sólo esta persona arrojó su dinero al agua. , y el aceite flotaba sobre él. Se puede ver que este hombre robó el dinero." El hombre inclinó la cabeza y confesó, y todos quedaron convencidos.

La sabiduría de este magistrado del condado es similar al principio de preguntar primero al estudiante más travieso cuando se rompe el cristal del aula: al elegir entre varias posibilidades, dé prioridad al escenario más probable. ¿Habrá algún error? Por supuesto que sí. Sólo porque tiene petróleo en el bolsillo, ¿crees que le robó el dinero al chico que vendía youtiao? Si alguien recibe el cambio del vendedor de palitos de masa frita, ¿no se mancharía también de aceite?

Sin embargo, este método que la gente suele utilizar a la hora de tomar decisiones es eficaz. Desde la perspectiva del pensamiento estadístico, es el famoso método de máxima verosimilitud, que determina el valor estimado en función del que tiene mayor probabilidad de ocurrencia. Este método tiene muchas propiedades buenas y a menudo produce buenos estimadores.

En el juego de baloncesto profesional de la NBA estadounidense, cada equipo tiene su propia victoria o derrota. Es difícil decir qué equipo es el más fuerte. En los juegos regulares, cada equipo juega 82 juegos y los ocho equipos con mayor porcentaje de victorias en cada distrito pueden jugar los playoffs. El llamado porcentaje de victorias es el número de juegos ganados dividido por el número de juegos jugados. Para mantener la asequibilidad del juego, la NBA tiene un mecanismo de draft para que la fuerza de cada equipo no sea muy diferente. A veces, el jugador clasificado en primer lugar en toda la temporada tiene una tasa de victorias inferior al 60%. Usar el porcentaje de victorias después de varios juegos en una temporada para determinar quién es el jugador más fuerte este año y quién puede participar en los playoffs es una práctica común en los juegos de fútbol profesional. Para otro ejemplo, al estimar la probabilidad de éxito de una determinada operación, estimar la probabilidad de dar a luz a trillizos, etc., se suele utilizar esta idea de estimar en función de la frecuencia relativa.

Con el desarrollo de las estadísticas, cientos de métodos de estimación compiten. Estos métodos de estimación razonables suelen tener sus propias ventajas y son adecuados para determinadas situaciones. Ningún método es siempre el mejor. Por ejemplo, a veces sentimos que dar un rango puede describirlo más claramente. Este es el famoso método de estimación del intervalo de confianza.

(5) Debería haber una mentalidad de prueba de hipótesis que garantice que no haya culpa.

Las personas a menudo buscan justicia o imparcialidad. Tomemos el ejemplo sencillo de dividir un pastel entre dos personas. Si ambas partes no están dispuestas a tomar el trozo más pequeño, ¿existe alguna buena manera de dividirlo? Debería ser una forma para que ambos no se sientan en desventaja. Lo mejor sería echar a suertes quién cortará. Para evitar que el lado elegido sienta que su ganancia es más de la mitad y el lado cortado sienta que su ganancia es solo la mitad.

El principio de no presunción de culpabilidad es similar al principio de su elección. Es un método de sentencia que puede hacer que tanto los fiscales como los acusados ​​se sientan más justos.

En 1933, el polaco Neyman y el británico Pearson dieron el famoso lema de Neyman-Pearson, que establecía el principio de presunción de inocencia en estadística. Esto es la prueba de hipótesis (Hypothesis testing).

Hipótesis en inglés se deriva de la antigua palabra griega hipótesishenai, que también es la palabra para hipótesis científica (o doctrina de hipótesis). En matemáticas, a menudo demostramos si una afirmación es verdadera o falsa. Pero en el mundo aleatorio, muchos fenómenos sólo pueden considerarse como hipótesis, depende de cuál estés más dispuesto a aceptar. La aceptación no significa que la hipótesis sea verdadera y el rechazo no significa que la hipótesis sea falsa. Después de probar los supuestos en estadística, no importa qué hipótesis se acepte, no puede convertirse en una ley. Una hipótesis siempre será una hipótesis.

3. Conclusión

El Sr. Chen Xiru dijo en el prefacio de su "Breve historia de la estadística matemática": "La estadística no es sólo un método o tecnología, sino que también contiene elementos de una visión del mundo - —Es una forma de ver todo en el mundo.

Esto es a lo que nos referimos a menudo cuando hablamos de cómo se ve algo desde un punto de vista estadístico. Pero el pensamiento estadístico también tiene un proceso de desarrollo. Por lo tanto, el desarrollo de pensamientos (o puntos de vista) estadísticos requiere no sólo aprender algunos conocimientos específicos, sino también ser capaz de conectar este conocimiento en un camino orgánico y claro desde una perspectiva de desarrollo para ganar un sentido de profundidad histórica. ”

Establecer el pensamiento estadístico no se logra de la noche a la mañana. Si hay algún secreto es aprender, practicar, volver a aprender, volver a practicar, seguir aprendiendo y practicar.

Referencias: