Apache Kafka är en open source-streamingplattform som används för att integrera distribuerade system i form av dataströmmar. Kafka utvecklades ursprungligen av LinkedIn 2011 och blev öppen källkod 2012. Sedan dess har Kafka utvecklats från att vara en enkel meddelandekö till en fullständig streamingplattform för stora mängder data där du kan kombinera händelser med allt från gamla traditionella (legacy) -system till IoT-sensorer för att utveckla datadrivna analyslösningar.
Förutom att publicera och prenumerera på dataströmmar eller händelser kan plattformen analysera och agera på kombinationer av händelser i ett tidsfönster. Apache Kafka kan också användas som en databas där du lagrar händelser / data.
Många företag har idag byggt sin teknik och datorer på Apache Kafka, till exempel Netflix, LinkedIn och Airbnb.
På Cegal arbetar vi med utveckling / arkitektur på Kafka och drift av Kafka. Vi är en partner till Confluent, som kommer från gruppen som ursprungligen utvecklade Kafka i LinkedIn. Confluent är idag den största bidragsgivaren till open source-projektet Kafka. Företaget har etablerat ett antal lösningar runt Kafka som erbjuds i ett enterprisepaket eller som en SaaS-lösning med molnleverantörerna Amazon, Google och Azure. Vi arbetar med flera kunder och är centrala i deras användning av Kafka.