AmeliorIA

tekio.org

RL en ligne

Le modèle génère plusieurs réponses, une récompense les note, et on renforce celles qui ont mieux marché que la moyenne du groupe.

  • Identifiant : SIGN05
  • Catégorie : SIGN · Apprendre à partir d'un signal
  • Regroupe : RLHF, RLAIF, RLVR ; GRPO, Dr.GRPO, DAPO, GSPO, CISPO, RLOO ; PPO en infra ; variante modèle de récompense
  • Modèles concernés : LLM, VLM, agents ; diffusion (DDPO)
  • Calcul : plusieurs GPU
  • Temps : jours
  • Modèle : poids nécessaires
  • Données : réponses vérifiables
  • GPU local 12 Go (exemple de code) : ⚠️ ≤ 1,5B · ☁️
  • Code : 05-rl-en-ligne/

Principe

À chaque pas :

  1. On tire un lot de prompts.
  2. Le modèle génère G réponses par prompt (échantillonnage à température 1).
  3. Chaque réponse reçoit une récompense.
  4. L'avantage de chaque réponse est sa récompense moins la moyenne de son groupe (éventuellement divisée par l'écart-type). On n'a donc pas besoin d'un réseau critique comme dans PPO.
  5. Mise à jour de type « policy gradient » avec clipping, et éventuellement une pénalité KL vers le modèle initial.

Contrairement au DPO (SIGN04), les données sont générées par le modèle lui-même pendant l'entraînement (on-policy). Le modèle peut ainsi découvrir des stratégies meilleures que celles des données d'origine. C'est ce qui a produit les modèles de raisonnement (o1, DeepSeek-R1).

La boucle est la même dans tous les cas, seule la source de récompense change, d'où le regroupement :

recompense.source Nom usuel Récompense Idéal pour
regles RLVR Programme vérificateur : réponse exacte, tests unitaires qui passent, format respecté Maths, code, extraction structurée, tout ce qui se vérifie
modele RLHF Modèle de récompense entraîné sur des préférences humaines (variantes/modele-recompense) Utilité, ton, sécurité : ce qui ne se vérifie pas
juge RLAIF / Constitutional AI Un LLM note la réponse selon une consigne ou des principes écrits Idem, sans annotateurs humains

Et les variantes d'algorithme (--set algo=...) :

Algo Différence
grpo Formulation DeepSeekMath : avantages normalisés par groupe, KL β=0,04
dr_grpo Supprime les biais de longueur et de difficulté (pas de division par l'écart-type)
dapo Clipping asymétrique (clip-higher), normalisation par token, masque des réponses tronquées. Défaut TRL
gspo Ratio d'importance au niveau de la séquence : plus stable, surtout pour les MoE (Qwen3)
cispo Clipping des poids d'importance plutôt que des mises à jour (MiniMax-M1)
rloo REINFORCE leave-one-out : baseline = moyenne des autres réponses
PPO Avec critique appris. Plus coûteux, encore utilisé à grande échelle : voir l'infra (verl, OpenRLHF)

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur instruct ou après SFT Llama 3, Qwen2.5, Mistral 7B, Gemma 2 ✅ cas principal Le modèle doit déjà réussir parfois : une récompense toujours nulle ne donne aucun signal
LLM de base Llama-3.1-8B, Qwen2.5-7B, Mistral-7B (versions de base) ⚠️ Possible (R1-Zero) mais demande un modèle ≥ 7B et un format simple
Multimodal Qwen2.5-VL ✅ GRPOTrainer accepte les images. RLVR sur des questions visuelles vérifiables
Agents / usage d'outils Qwen2.5-Instruct, Llama-3.1-Instruct, Hermes 3 ✅ GRPOTrainer(tools=..., environment_factory=...) : récompense sur la réussite de la tâche multi-tours
Diffusion Stable Diffusion, SDXL, Flux ✅ DDPO, Flow-GRPO : récompense esthétique ou d'alignement texte-image (bibliothèques dédiées)
Encodeur / classifieur BERT, RoBERTa, ModernBERT ❌ Pas de génération
Modèle fermé via API GPT-4o, Claude, Gemini ⚠️ OpenAI « Reinforcement Fine-Tuning » : on fournit des prompts et un grader

Quand l'utiliser

  • ✅ Tâche vérifiable (maths, code, SQL, JSON valide, jeu) : RLVR, c'est le cas où le RL apporte le plus.
  • ✅ Après SFT et/ou DPO, pour dépasser le niveau des démonstrations.
  • ⚠️ Récompense apprise ou juge : risque de reward hacking (le modèle exploite les failles du juge). Garder la KL, surveiller les sorties.
  • ❌ Si le modèle ne réussit jamais la tâche (récompense toujours 0) : d'abord SFT, ou une tâche plus facile (curriculum).

Pièges

  • Récompense nulle partout : aucun gradient. Vérifier reward dès les premiers pas, simplifier la tâche.
  • Reward hacking : réponses vides mais bien formatées, répétition de ce qui plaît au juge… Lire des générations régulièrement.
  • Longueur : la réponse peut s'allonger ou raccourcir sans raison. dr_grpo et dapo corrigent les biais connus.
  • Effondrement de l'entropie : toutes les réponses d'un groupe deviennent identiques, avantage nul. Température ≥ 1, epsilon_high (DAPO).
  • Mémoire : politique + référence (si β > 0) + génération. β=0 et LoRA réduisent l'empreinte.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : RL en ligne : exemple de code.