Apache Kafka es un sistema de mensajería de código abierto, escrito en Java y Scala, que fue creado por LinkedIn y donado a la Apache Software Foundation en 2011. Funciona como una cola de mensajes masivamente escalable bajo el patrón publicación-suscripción, actuando como un registro de transacciones distribuidas que permite el procesamiento de datos en tiempo real con alta velocidad y baja latencia. Su arquitectura se basa en "productores" que envían mensajes a "temas" divididos en "particiones" replicadas entre varios servidores (brokers), lo que garantiza tolerancia a fallos y ha permitido sustituir sistemas tradicionales como JMS o AMQP. Tras superar la incubación de Apache en octubre de 2012, el proyecto ganó gran popularidad y es utilizado por gigantes como Netflix, Uber, Spotify y Walmart, mientras que en 2014 sus creadores fundaron la empresa Confluent para su desarrollo comercial. Desde la versión 0.11.0.0, Kafka ofrece escrituras transaccionales, y soporta temas regulares (con retención de 7 días por defecto) y temas compactados, donde los mensajes se actualizan según su clave sin caducar. Además, se integra con sistemas de procesamiento como Apache Flink y Spark, y su rendimiento puede monitorearse con herramientas como Burrow (de LinkedIn) o Datadog.