#62: Kafka und Datenströme erklärt – und wie das jetzt auch in R läuft

Kafka, aber in R? Das geht jetzt! In dieser Folge klären wir, warum Kafka für schnelle Datenströme unverzichtbar ist und warum unser neuer R-Kafka-Client ein Gamechanger ist. Was ist Kafka, wofür braucht man es (oder auch nicht), und wie funktioniert unser Paket? Hört rein und probiert es aus!

 

Zusammenfassung

• Apache Kafka als schnelles, ausfallsicheres System für Event-Streaming und Datenströme
• Einsatzbereiche: Überall wo Daten fortlaufend und in Echtzeit verarbeitet werden
• Unser R Kafka Client ermöglicht nun die direkte Nutzung von Kafka in R, ohne Umweg über Python
• Features: Consumer/Producer-Modelle, asynchrone Datenverarbeitung, hohe Performance und Ausfallsicherheit
• Ausblick: Veröffentlichung auf CRAN, Admin-Client für Cluster-Management, Blogartikel mit Beispiel (siehe unten in den Links)

Links

• Apache Kafka https://kafka.apache.org/
• Confluent https://www.confluent.io/
• Rcpp (CRAN) https://cran.r-project.org/web/packages/Rcpp/index.html
• reticulate (CRAN) https://cran.r-project.org/web/packages/reticulate/index.html
• R Paket kafka auf GitHub https://github.com/INWTlab/r-kafka
• Blogartikel zum R Paket kafka https://www.inwt-statistics.de/blog/r-paket-kafka
• nats https://nats.io/
• Azure EventHub https://azure.microsoft.com/de-de/products/event-hubs
• Redpanda https://www.redpanda.com/
• Fragen, Feedback und Themenwünsche gern an podcast@inwt-statistics.de