Latence de queue

Le p99 est le temps sous lequel 99 % des requêtes se terminent. Quand une page appelle de nombreux services, elle tombe presque toujours sur un appel lent : c'est la queue, pas la moyenne, qui fait l'expérience utilisateur.

Où on le retrouve dans les vrais systèmes

  • Tracing distribué

    Montre quel maillon est lent dans une chaîne de microservices. L'échantillonnage limite le coût tout en attrapant la latence de queue.

    En production : OpenTelemetry, Jaeger, Grafana Tempo, AWS X-Ray, Honeycomb

  • Service d'inférence de modèles

    Chaque requête prend des dizaines à des centaines de millisecondes de GPU : quelques centaines de requêtes par seconde demandent déjà plusieurs GPU coûteux. Regrouper les requêtes, mettre les réponses en cache et choisir le bon accélérateur changent la facture d'un ordre de grandeur.

    En production : NVIDIA Triton, vLLM, Amazon SageMaker endpoints, Google Vertex AI, KServe

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable