Architectures Lambda et Kappa

Lambda fait tourner une couche batch pour l'exactitude à côté d'une couche temps réel pour la fraîcheur ; Kappa utilise un seul pipeline de streaming et rejoue le journal pour recalculer. Kappa est plus simple quand le traitement de flux est fiable.

Où on le retrouve dans les vrais systèmes

  • Traitement de flux

    Des fenêtres comme les cinq dernières minutes transforment un flux sans fin en résultats : comptages, scores de fraude, tendances. Les checkpoints permettent de redémarrer sans perdre ni recompter d'événements.

    En production : Apache Flink, Kafka Streams, Spark Structured Streaming, Amazon Managed Service for Apache Flink

  • Cluster de traitement par lots

    Les jobs de type Spark découpent les données en partitions traitées par de nombreux exécuteurs. Le débit est énorme mais les résultats arrivent des heures plus tard ; alimente-le depuis une file, un journal ou un stockage objet, jamais depuis le chemin des requêtes.

    En production : Apache Spark (Databricks, EMR), Google Dataflow, AWS Glue, Hadoop MapReduce

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable