AmeliorIA

tekio.org

Calcul à l'inférence

Dépenser plus de calcul par question au moment de répondre (plusieurs tentatives, sélection, vérification) plutôt que davantage d'entraînement.

  • Identifiant : EXEC20
  • Catégorie : EXEC · À l'exécution, sans toucher aux poids
  • Regroupe : Self-consistency, best-of-N (RM, vraisemblance), self-refine, pass@N
  • Modèles concernés : Tout LLM ; code ; diffusion (best-of-N)
  • Calcul : 1 GPU (inférence)
  • Temps : minutes
  • Modèle : fermé (API) possible
  • Données : — aucune donnée
  • GPU local 12 Go (exemple de code) : ✅
  • Code : 20-calcul-inference/

Principe

Un modèle qui se trompe une fois sur deux en génération gloutonne produit souvent la bonne réponse dans au moins une de ses N tentatives. Tout l'enjeu est de la retrouver :

Stratégie Comment on choisit parmi N réponses Besoin
glouton Pas de choix : une seule réponse à température 0 Référence
vote_majoritaire La réponse finale la plus fréquente (self-consistency) Une réponse finale comparable (nombre, choix, code exécutable)
best_of_n_vraisemblance Log-probabilité moyenne la plus haute Accès aux log-probs
best_of_n_recompense Score d'un modèle de récompense ou d'un vérificateur Un RM (05 variante) ou un vérificateur exécutable
auto_correction Le modèle relit sa réponse et la corrige (self-refine) Un modèle capable de se critiquer
oracle_pass_a_N Une réponse juste existe-t-elle parmi les N ? Borne supérieure de toute stratégie de sélection

Les stratégies de sélection partagent les mêmes N échantillons. La courbe vote_majoritaire.courbe (N = 1, 2, 4, 8, 16) montre la loi d'échelle : le gain rapide des premiers échantillons, puis le plateau.

Les modèles de raisonnement (o1/o3, DeepSeek-R1, Qwen3 en mode thinking) intègrent cette idée dans les poids : entraînés par RL (SIGN05), ils génèrent eux-mêmes une longue réflexion avec vérifications et retours en arrière. Le « budget de réflexion » (nombre maximal de tokens) devient un réglage de calcul à l'inférence.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM instruct, local ou via API Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct ✅ cas principal best_of_n_vraisemblance demande un modèle local (log-probs)
Modèles de raisonnement DeepSeek-R1, QwQ-32B, Qwen3 ✅ Budget de réflexion. Le vote reste utile au-dessus
Code Qwen2.5-Coder, DeepSeek-Coder, StarCoder2 ✅ très efficace Sélection par exécution des tests (vérificateur exact)
Multimodal Qwen2.5-VL, LLaVA, Idefics ✅ Mêmes stratégies
Diffusion Stable Diffusion, SDXL, Flux ✅ Best-of-N d'images notées par un modèle esthétique ou d'alignement (ImageReward, PickScore) ; recherche sur le bruit initial
Encodeurs / classifieurs BERT, RoBERTa, ModernBERT ⚠️ Équivalent : test-time augmentation et ensembles

Quand l'utiliser

  • ✅ Tâches à réponse vérifiable ou comparable (maths, code, QCM, extraction).
  • ✅ Quand la latence et le coût par requête sont acceptables : N générations coûtent environ N fois plus.
  • ✅ Pour mesurer le potentiel d'un modèle avant de l'entraîner : un écart important entre glouton et oracle_pass_a_N indique un modèle qui gagnera beaucoup avec du RL ou du rejection sampling (SIGN05, SIGN07).
  • ❌ Réponses ouvertes non comparables (rédaction) : le vote ne s'applique pas, il faut un juge ou un RM.

Pièges

  • Coût : N=16, c'est 16 fois plus de tokens. Comparer les stratégies à budget égal.
  • Vote sur réponses non normalisées : « 72 », « 72.0 » et « $72 » doivent compter pareil (voir extraire_nombre).
  • Reward hacking à l'inférence : avec N grand, le best-of-N par RM finit par choisir des réponses qui trompent le RM. Le vote est plus robuste.
  • Auto-correction des petits modèles : ils « corrigent » souvent une bonne réponse en mauvaise. Mesurer avant d'adopter.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Calcul à l'inférence : exemple de code.