Pipelines de données

Des chaînes de traitements qui déplacent et remodèlent les données entre systèmes. Ils exigent des étapes idempotentes, une surveillance de la fraîcheur et un moyen de recharger l'historique.

Où on le retrouve dans les vrais systèmes

  • Entrepôt de données

    Conçu pour de grosses requêtes analytiques qui prennent des secondes, pas pour servir les utilisateurs. Le placer dans le chemin d'une requête détruit la latence ; alimente-le plutôt de façon asynchrone par un pipeline.

    En production : Snowflake, Google BigQuery, Amazon Redshift, ClickHouse, Databricks SQL

  • Cluster de traitement par lots

    Les jobs de type Spark découpent les données en partitions traitées par de nombreux exécuteurs. Le débit est énorme mais les résultats arrivent des heures plus tard ; alimente-le depuis une file, un journal ou un stockage objet, jamais depuis le chemin des requêtes.

    En production : Apache Spark (Databricks, EMR), Google Dataflow, AWS Glue, Hadoop MapReduce

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable