Traitement par lots continu à partir des premiers principes (2025)

Traitement par lots continu à partir des premiers principes (2025)

Le traitement par lots continu est une technique de planification d'inférence dynamique qui maximise le débit matériel en insérant de nouvelles requêtes dans un lot de traitement actif dès qu'un emplacement se libère, éliminant ainsi les cycles de calcul inactifs entre les tâches. Le comprendre à partir des premiers principes révèle pourquoi il est devenu l’architecture fondamentale de tout système de service d’IA haute performance déployé à grande échelle en 2025.

Qu’est-ce que le traitement par lots continu exactement et pourquoi le traitement par lots statique a-t-il échoué ?

Pour apprécier le batching continu, vous devez d’abord comprendre ce qu’il a remplacé. Le traitement par lots statique traditionnel regroupe un nombre fixe de requêtes, les traite comme une seule unité et n'accepte les nouvelles requêtes qu'une fois l'ensemble du lot terminé. Le défaut critique est que les grands modèles de langage génèrent des jetons de longueur variable : une requête peut se terminer après 20 jetons tandis qu'une autre dans le même lot en exécute 2 000. Chaque GPU du cluster reste inactif en attendant la fin de la séquence la plus longue avant de pouvoir commencer un nouveau travail.

Le traitement par lots continu, lancé dans l'article historique de 2022 « Orca : A Distributed Serving System for Transformer-Based Generative Models », brise complètement cette contrainte. Il fonctionne au niveau de l'itération plutôt qu'au niveau de la demande. Après chaque passage dans le modèle, le planificateur vérifie si une séquence a atteint son jeton de fin de séquence. Si c'est le cas, cet emplacement est immédiatement récupéré et attribué à une demande en file d'attente — pas d'attente, pas de gaspillage. La composition du lot change de manière fluide à chaque étape de décodage, gardant à tout moment l'utilisation du matériel proche du maximum théorique.

Comment le cache KV interagit-il avec le traitement par lots continu au niveau du système ?

Le cache clé-valeur est la structure de mémoire qui rend l'inférence de transformateur réalisable. Pour chaque jeton traité, le modèle calcule les clés d'attention et les valeurs qui doivent être conservées afin que les jetons suivants ne répètent pas de calcul redondant. Dans un système de traitement par lots statique, l'allocation du cache KV est simple : réserver de la mémoire proportionnelle à la longueur maximale de la séquence pour chaque requête du lot.

Le traitement par lots continu complique cela avec élégance. Étant donné que les demandes entrent et sortent du lot à des moments imprévisibles, le système ne peut pas pré-allouer des blocs de mémoire contigus fixes. C'est précisément pourquoi PagedAttention de vLLM — introduit en 2023 — est devenu indissociable du traitement par lots continu dans les déploiements de production. PagedAttention emprunte le modèle de pagination de la mémoire virtuelle aux systèmes d'exploitation, divisant le cache KV en blocs non contigus de taille égale. Les pages de cache d'une séquence peuvent être dispersées dans la mémoire GPU, tout comme les pages de mémoire virtuelle sont dispersées dans la RAM physique. Le résultat est un gaspillage de mémoire proche de zéro dû à la fragmentation, ce qui se traduit directement par des tailles de lots plus élevées et un débit plus élevé sans investissement matériel supplémentaire.

Quels sont les mécanismes de planification de base qui permettent le fonctionnement continu du traitement par lots ?

Trois décisions de planification interdépendantes régissent chaque système de traitement par lots continu :

Politique de préemption : lorsque la pression de la mémoire est élevée et qu'une nouvelle requête hautement prioritaire arrive, le planificateur doit décider s'il doit préempter une séquence de faible priorité en cours d'exécution, échanger son cache KV vers la RAM du processeur ou la recalculer à partir de zéro ultérieurement. La préemption basée sur le swap préserve le calcul mais consomme la bande passante PCIe ; le recalcul gaspille les cycles du GPU mais garde la mémoire propre.

Contrôle d'admission : le planificateur doit prédire si le cache KV d'une nouvelle requête tiendra dans la mémoire disponible pendant toute sa durée de vie de génération. Une sous-estimation provoque des pannes de mémoire insuffisante en cours de séquence ; la surestimation affame inutilement la file d’attente. Les systèmes modernes utilisent des distributions de longueurs profilées et des tampons de réservation pour équilibrer ces risques.

Pré-remplissage fragmenté : la phase de pré-remplissage (traitement de l'invite de saisie de l'utilisateur) est liée au calcul et peut monopoliser le GPU, retardant les étapes de décodage des séquences déjà en cours d'exécution. Le pré-remplissage fragmenté divise les invites longues en tailles fixes

Related Posts

• LCM : Gestion du contexte sans perte [pdf]
• Outil de sandboxing en ligne de commande peu connu de macOS (2025)
• L'IRS a perdu 40 % de son personnel informatique et 80 % de ses dirigeants technologiques lors d'une restructuration pour plus d'« efficacité »
• CXMT propose des puces DDR4 à environ la moitié du prix du marché.

Frequent Questions