Servir des modèles de machine learning

L'inférence dépend du GPU et chaque requête est lente : on planifie la capacité en requêtes par GPU. Le regroupement dynamique, le cache des réponses, des modèles plus petits et l'autoscaling sur la profondeur de file tiennent latence et coût.

Où on le retrouve dans les vrais systèmes

  • Service d'inférence de modèles

    Chaque requête prend des dizaines à des centaines de millisecondes de GPU : quelques centaines de requêtes par seconde demandent déjà plusieurs GPU coûteux. Regrouper les requêtes, mettre les réponses en cache et choisir le bon accélérateur changent la facture d'un ordre de grandeur.

    En production : NVIDIA Triton, vLLM, Amazon SageMaker endpoints, Google Vertex AI, KServe

Regarde-le casser, puis répare-le

Construis une architecture, envoie-lui une journée de trafic et de pannes, et comprends pourquoi elle tient ou cède. Gratuit pour commencer.

Ouvrir le parcours Ouvrir le bac à sable