¿Qué es la chispa?

Spark es un lenguaje de programación seguro y definido formalmente diseñado para respaldar el diseño de software de aplicaciones donde la seguridad o la integración empresarial es un factor crítico.

Spark realiza varias operaciones y cálculos simultáneos en el clúster ejecutando la función principal definida por el usuario. La abstracción principal proporcionada por Spark. La definición formal y clara de Spark permite utilizar una variedad de técnicas de análisis estático. en fuentes Spark posible en la aplicación de código.

Desde una perspectiva de alto nivel, de hecho, cada aplicación Spark es una clase Driver. Al ejecutar la función principal definida por el usuario, realiza varias operaciones simultáneas y calcula las cosas más importantes proporcionadas por Spark. Clúster La abstracción es un conjunto de datos distribuidos elásticos (RDD), que es una colección especial que se puede distribuir en los nodos del clúster y realizar varias operaciones simultáneas utilizando programación funcional para operar la colección. Puede crearse a partir de un archivo en hdfs o convertirse a partir de una colección existente en el programa Driver. Los usuarios pueden almacenar en caché conjuntos de datos en la memoria para que puedan reutilizarse de manera eficiente para operaciones simultáneas. Finalmente, los conjuntos de datos distribuidos pueden recuperarse automáticamente de fallas de nodos y realizar cálculos nuevamente.