ETL et ELT

Extraire les données des sources, les transformer et les charger dans un entrepôt, ou charger d'abord puis transformer dans l'entrepôt. Ces pipelines tournent par lots ou en continu, hors du chemin des requêtes utilisateurs.

Où on le retrouve dans les vrais systèmes

  • Entrepôt de données

    Conçu pour de grosses requêtes analytiques qui prennent des secondes, pas pour servir les utilisateurs. Le placer dans le chemin d'une requête détruit la latence ; alimente-le plutôt de façon asynchrone par un pipeline.

    En production : Snowflake, Google BigQuery, Amazon Redshift, ClickHouse, Databricks SQL

  • Cluster de traitement par lots

    Les jobs de type Spark découpent les données en partitions traitées par de nombreux exécuteurs. Le débit est énorme mais les résultats arrivent des heures plus tard ; alimente-le depuis une file, un journal ou un stockage objet, jamais depuis le chemin des requêtes.

    En production : Apache Spark (Databricks, EMR), Google Dataflow, AWS Glue, Hadoop MapReduce

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable