Traitement par lots

Traiter de gros jeux de données bornés d'un coup, par exemple chaque nuit, avec des frameworks comme Spark ou MapReduce. Débit élevé et reprise simple, mais les résultats datent de plusieurs heures.

Où on le retrouve dans les vrais systèmes

  • Data lake

    Stocke tout d'abord et décide du schéma à la lecture. Les formats de table comme Iceberg ajoutent transactions et voyage dans le temps ; sans gouvernance, un lac devient vite un marécage.

    En production : Amazon S3 + Apache Iceberg, Delta Lake, Azure Data Lake Storage, Apache Hudi

  • Cluster de traitement par lots

    Les jobs de type Spark découpent les données en partitions traitées par de nombreux exécuteurs. Le débit est énorme mais les résultats arrivent des heures plus tard ; alimente-le depuis une file, un journal ou un stockage objet, jamais depuis le chemin des requêtes.

    En production : Apache Spark (Databricks, EMR), Google Dataflow, AWS Glue, Hadoop MapReduce

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable