Apache Kafka er en open source streamingplattform som brukes for å integrere distribuerte systemer i form av datastrømmer. Kafka ble opprinnelig utviklet av LinkedIn i 2011, og ble open source i 2012. Siden den gang har Kafka utviklet seg fra å være en enkel meldingskø til en full streaming plattform for store datamengder der du kan kombinere hendelser for alt fra gamle, tradisjonelle (legacy) systemer til IoT-sensorer for å utvikle datadrevne analyseløsninger.
I tillegg til å publisere og abonnere på strømmer av data eller hendelser kan plattformen analysere og agere på kombinasjoner av hendelser i et tidsvindu. Apache Kafka kan også brukes som en database der du lagrer hendelser/data.
Mange selskaper har i dag bygget sin teknologi og databehandling på Apache Kafka, for eksempel Netflix, LinkedIn og Airbnb.
I Cegal jobber vi med utvikling/arkitektur på Kafka og drift av Kafka. Vi er partner med Confluent, som kommer fra gruppen som opprinnelig utviklet Kafka i LinkedIn. Confluent er i dag den største bidragsyter i open source-prosjektet Kafka. Selskapet har etablert en rekke løsninger rundt Kafka som tilbys i en enterprise-pakke eller som SaaS-løsning hos skyleverandørene Amazon, Google og Azure.
Vi jobber med flere norske kunder og er sentral i deres bruk av Kafka. Les om hvordan vi hjalp Statnett her: Cegal og Kafka sikrer god dataflyt hos Statnett >