¿Cuál es la relación entre big data y minería de datos?
La minería de datos es un tema interdisciplinario de rápido desarrollo basado en la teoría de bases de datos, el aprendizaje automático, la inteligencia artificial y las estadísticas modernas, y tiene aplicaciones en muchos campos. Implica muchos algoritmos, incluidas redes neuronales y árboles de decisión derivados del aprendizaje automático, así como máquinas de vectores de soporte basadas en la teoría del aprendizaje estadístico, árboles de regresión de clasificación y muchos algoritmos para el análisis de correlación. La minería de datos se define como la búsqueda de patrones o conocimientos significativos a partir de cantidades masivas de datos.
Big data tiene tres características importantes: gran cantidad de datos, estructura compleja y rápida velocidad de actualización de datos. Debido al desarrollo de la tecnología web, los datos generados por los usuarios de la web se guardan automáticamente y los sensores recopilan datos constantemente. Además del desarrollo de Internet móvil, la velocidad de recopilación y almacenamiento automático de datos se está acelerando. El mundo está en constante expansión y el almacenamiento de datos y la informática superan las capacidades de una sola computadora (minicomputadora y mainframe), lo que plantea desafíos para la implementación de la tecnología de minería de datos (en términos generales, la implementación de la minería de datos se basa en una minicomputadora o mainframe). , y también se puede realizar computación paralela). Google propuso un sistema de archivos de almacenamiento distribuido y luego desarrolló los conceptos de almacenamiento en la nube y computación en la nube.
Los grandes datos deben mapearse en unidades pequeñas para el cálculo y luego integrar todos los resultados, que es el llamado marco de algoritmo de reducción de mapas. Los cálculos realizados en una sola computadora aún requieren el uso de algunas técnicas de minería de datos. La diferencia es que algunas de las técnicas de minería de datos originales pueden no integrarse fácilmente en el marco de reducción de mapas y es necesario ajustar algunos algoritmos.
Además, la mejora de las capacidades de procesamiento de big data también plantea nuevos desafíos a las estadísticas. La teoría estadística a menudo se basa en muestras, pero en la era del big data, es posible obtener la población en lugar de realizar un muestreo sin reemplazo de la población.