Mise en cache

Garder le résultat d'une opération coûteuse près de là où on en a besoin pour que la requête suivante soit bon marché. Il y a des caches à chaque couche : navigateur, CDN, application, base. Tout cache échange de la fraîcheur contre de la vitesse.

Où on le retrouve dans les vrais systèmes

  • CDN

    Images, scripts, feuilles de style et vidéos sont mis en cache en bordure : la plupart des requêtes n'atteignent jamais tes serveurs. Un TTL long augmente le taux de hit mais ralentit la diffusion des mises à jour ; un bouclier d'origine regroupe les miss de tous les points de présence.

    En production : Amazon CloudFront, Cloudflare, Akamai, Fastly, Azure Front Door

  • Cache en mémoire

    Le taux de hit dépend de la part du working set qui tient en mémoire, du TTL et de la politique d'éviction. Si le cache tombe ou est vidé, toutes les lectures tombent d'un coup sur la base : prévois cette ruée. Le write-behind est rapide mais perd des écritures si un nœud meurt sans réplica.

    En production : Redis (Amazon ElastiCache, Azure Cache), Valkey, Memcached, Dragonfly

  • Cache local

    Aucun aller-retour réseau : c'est le cache le plus rapide possible, mais chaque instance a sa propre copie. La mémoire est dupliquée et l'invalidation est difficile : les instances peuvent diverger pendant toute la durée du TTL.

    En production : Caffeine (Java), Guava cache, lru-cache (Node.js), functools.lru_cache

  • Service d'inférence de modèles

    Chaque requête prend des dizaines à des centaines de millisecondes de GPU : quelques centaines de requêtes par seconde demandent déjà plusieurs GPU coûteux. Regrouper les requêtes, mettre les réponses en cache et choisir le bon accélérateur changent la facture d'un ordre de grandeur.

    En production : NVIDIA Triton, vLLM, Amazon SageMaker endpoints, Google Vertex AI, KServe

  • API tierce

    Sa latence, ses limites et ses pannes deviennent les tiennes. Mets en cache ce qui peut l'être, fixe des timeouts courts, entoure-la d'un circuit breaker et prévois un mode dégradé pour quand elle tombe.

    En production : Google Maps Platform, OpenWeather, Shippo, Anthropic API, OpenAI API

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable