Calcul à l'inférence
Dépenser plus de calcul par question au moment de répondre (plusieurs tentatives, sélection, vérification) plutôt que davantage d'entraînement.
- Identifiant : EXEC20
- Catégorie : EXEC · À l'exécution, sans toucher aux poids
- Regroupe : Self-consistency, best-of-N (RM, vraisemblance), self-refine, pass@N
- Modèles concernés : Tout LLM ; code ; diffusion (best-of-N)
- Calcul : 1 GPU (inférence)
- Temps : minutes
- Modèle :
fermé (API) possible - Données : — aucune donnée
- GPU local 12 Go (exemple de code) : ✅
- Code :
20-calcul-inference/
Principe
Un modèle qui se trompe une fois sur deux en génération gloutonne produit souvent la bonne réponse dans au moins une de ses N tentatives. Tout l'enjeu est de la retrouver :
| Stratégie | Comment on choisit parmi N réponses | Besoin |
|---|---|---|
glouton |
Pas de choix : une seule réponse à température 0 | Référence |
vote_majoritaire |
La réponse finale la plus fréquente (self-consistency) | Une réponse finale comparable (nombre, choix, code exécutable) |
best_of_n_vraisemblance |
Log-probabilité moyenne la plus haute | Accès aux log-probs |
best_of_n_recompense |
Score d'un modèle de récompense ou d'un vérificateur | Un RM (05 variante) ou un vérificateur exécutable |
auto_correction |
Le modèle relit sa réponse et la corrige (self-refine) | Un modèle capable de se critiquer |
oracle_pass_a_N |
Une réponse juste existe-t-elle parmi les N ? | Borne supérieure de toute stratégie de sélection |
Les stratégies de sélection partagent les mêmes N échantillons. La courbe vote_majoritaire.courbe (N = 1, 2, 4, 8, 16) montre la loi d'échelle : le gain rapide des premiers échantillons, puis le plateau.
Les modèles de raisonnement (o1/o3, DeepSeek-R1, Qwen3 en mode thinking) intègrent cette idée dans les poids : entraînés par RL (SIGN05), ils génèrent eux-mêmes une longue réflexion avec vérifications et retours en arrière. Le « budget de réflexion » (nombre maximal de tokens) devient un réglage de calcul à l'inférence.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM instruct, local ou via API | Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct | ✅ cas principal | best_of_n_vraisemblance demande un modèle local (log-probs) |
| Modèles de raisonnement | DeepSeek-R1, QwQ-32B, Qwen3 | ✅ | Budget de réflexion. Le vote reste utile au-dessus |
| Code | Qwen2.5-Coder, DeepSeek-Coder, StarCoder2 | ✅ très efficace | Sélection par exécution des tests (vérificateur exact) |
| Multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | Mêmes stratégies |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ | Best-of-N d'images notées par un modèle esthétique ou d'alignement (ImageReward, PickScore) ; recherche sur le bruit initial |
| Encodeurs / classifieurs | BERT, RoBERTa, ModernBERT | ⚠️ | Équivalent : test-time augmentation et ensembles |
Quand l'utiliser
- ✅ Tâches à réponse vérifiable ou comparable (maths, code, QCM, extraction).
- ✅ Quand la latence et le coût par requête sont acceptables : N générations coûtent environ N fois plus.
- ✅ Pour mesurer le potentiel d'un modèle avant de l'entraîner : un écart important entre
gloutonetoracle_pass_a_Nindique un modèle qui gagnera beaucoup avec du RL ou du rejection sampling (SIGN05, SIGN07). - ❌ Réponses ouvertes non comparables (rédaction) : le vote ne s'applique pas, il faut un juge ou un RM.
Pièges
- Coût : N=16, c'est 16 fois plus de tokens. Comparer les stratégies à budget égal.
- Vote sur réponses non normalisées : « 72 », « 72.0 » et « $72 » doivent compter pareil (voir
extraire_nombre). - Reward hacking à l'inférence : avec N grand, le best-of-N par RM finit par choisir des réponses qui trompent le RM. Le vote est plus robuste.
- Auto-correction des petits modèles : ils « corrigent » souvent une bonne réponse en mauvaise. Mesurer avant d'adopter.
Références
- Self-consistency : Wang et al., Self-Consistency Improves Chain of Thought Reasoning in Language Models (2022). Vote majoritaire sur plusieurs raisonnements échantillonnés.
- Vérificateurs (GSM8K) : Cobbe et al., Training Verifiers to Solve Math Word Problems (2021). Best-of-N par vérificateur appris ; jeu GSM8K.
- PRM : Lightman et al., Let's Verify Step by Step (2023). Noter chaque étape du raisonnement plutôt que la réponse finale.
- Self-Refine : Madaan et al., Self-Refine: Iterative Refinement with Self-Feedback (2023). Le modèle critique et corrige sa propre réponse.
- Large Language Monkeys : Brown et al., Large Language Monkeys: Scaling Inference Compute with Repeated Sampling (2024). La couverture (pass@N) croît avec le nombre d'échantillons.
- Calcul à l'inférence optimal : Snell et al., Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (2024). Allouer le calcul d'inférence selon la difficulté.
Dans le dépôt
Exemple, résultats mesurés et commandes : Calcul à l'inférence : exemple de code.