ApacheKafka
AWS lanzó por primera vez la noticia de Amazon Managed Streaming para Apache Kafka (MSK) en la conferencia re:Invent 2018, y ahora ha cambiado de vista previa a servicio oficial.
Apache Kafka es un sistema de cola de mensajes distribuido que utiliza una arquitectura de publicación y suscripción para separar la aplicación de datos de flujo generados de la función de utilizar datos de flujo. Apache Kafka permite a los usuarios capturar eventos como eventos de cola de mensajes, transacciones, Internet de las cosas o transmisión de datos como aplicaciones y registros. También puede realizar análisis en tiempo real, convertir datos continuamente y luego procesar los datos recibidos. distribuirlo a otros lagos de datos y bases de datos.
AWS mencionó que los usuarios deben superar algunos obstáculos al configurar Apache Kafka en un entorno de producción, especialmente en el trabajo posterior de administración y expansión de escala. Ahora el servicio MSK lanzado oficialmente por AWS es proporcionado por AWS Responsable de las tareas de administración. , lo que permite a los usuarios configurarlo y usarlo fácilmente. Dado que las versiones recientes de Kafka deben usarse con el programa coordinador de nodos Zookeeper***, el servicio MSK se puede configurar fácilmente para permitir que Kafka y ZooKeeper se ejecuten juntos.
Con el servicio MSK, los usuarios pueden crear un clúster en minutos y administrar las operaciones del clúster mediante AWS Identity Management y Access Control IAM, así como la autoridad de certificación privada TLS totalmente administrada a través de ACM (AWS Certificate Manager) Authorize. el cliente, cifrar datos con TLS y cifrar otros datos utilizando claves de KMS (AWS Key Management Service). Cuando un servidor falla, MSK también reemplazará la máquina fallida y realizará reparaciones automáticamente. Los usuarios pueden monitorear los indicadores de estado del servicio desde Amazon CloudWatch.
AWS declaró que MSK es totalmente compatible con las versiones Kafka 1.1.1 y 2.1.0, por lo que los usuarios pueden ejecutar directamente aplicaciones y herramientas originales de Kafka en AWS sin modificar ningún código. Los usuarios pueden utilizar la herramienta MirrorMaker de código abierto. Migra directamente datos desde un clúster Kafka existente a MSK.
El método de fijación de precios de MSK se basa en Kafka Broker y el almacenamiento de configuración por hora. El costo de transmisión de datos de MSK es el mismo que el de la transmisión de datos original de AWS utilizado por el clúster. El corredor y el clúster regional no tienen ningún cargo adicional para que los nodos de ZooKeeper se transfieran datos entre sí. Ahora los usuarios pueden utilizar los servicios de MSK en la mayoría de las regiones de AWS, incluidas América del Norte, Asia y Europa.