RL en ligne
Le modèle génère plusieurs réponses, une récompense les note, et on renforce celles qui ont mieux marché que la moyenne du groupe.
- Identifiant : SIGN05
- Catégorie : SIGN · Apprendre à partir d'un signal
- Regroupe : RLHF, RLAIF, RLVR ; GRPO, Dr.GRPO, DAPO, GSPO, CISPO, RLOO ; PPO en infra ; variante modèle de récompense
- Modèles concernés : LLM, VLM, agents ; diffusion (DDPO)
- Calcul : plusieurs GPU
- Temps : jours
- Modèle :
poids nécessaires - Données : réponses vérifiables
- GPU local 12 Go (exemple de code) : ⚠️ ≤ 1,5B · ☁️
- Code :
05-rl-en-ligne/
Principe
À chaque pas :
- On tire un lot de prompts.
- Le modèle génère G réponses par prompt (échantillonnage à température 1).
- Chaque réponse reçoit une récompense.
- L'avantage de chaque réponse est sa récompense moins la moyenne de son groupe (éventuellement divisée par l'écart-type). On n'a donc pas besoin d'un réseau critique comme dans PPO.
- Mise à jour de type « policy gradient » avec clipping, et éventuellement une pénalité KL vers le modèle initial.
Contrairement au DPO (SIGN04), les données sont générées par le modèle lui-même pendant l'entraînement (on-policy). Le modèle peut ainsi découvrir des stratégies meilleures que celles des données d'origine. C'est ce qui a produit les modèles de raisonnement (o1, DeepSeek-R1).
La boucle est la même dans tous les cas, seule la source de récompense change, d'où le regroupement :
recompense.source |
Nom usuel | Récompense | Idéal pour |
|---|---|---|---|
regles |
RLVR | Programme vérificateur : réponse exacte, tests unitaires qui passent, format respecté | Maths, code, extraction structurée, tout ce qui se vérifie |
modele |
RLHF | Modèle de récompense entraîné sur des préférences humaines (variantes/modele-recompense) |
Utilité, ton, sécurité : ce qui ne se vérifie pas |
juge |
RLAIF / Constitutional AI | Un LLM note la réponse selon une consigne ou des principes écrits | Idem, sans annotateurs humains |
Et les variantes d'algorithme (--set algo=...) :
| Algo | Différence |
|---|---|
grpo |
Formulation DeepSeekMath : avantages normalisés par groupe, KL β=0,04 |
dr_grpo |
Supprime les biais de longueur et de difficulté (pas de division par l'écart-type) |
dapo |
Clipping asymétrique (clip-higher), normalisation par token, masque des réponses tronquées. Défaut TRL |
gspo |
Ratio d'importance au niveau de la séquence : plus stable, surtout pour les MoE (Qwen3) |
cispo |
Clipping des poids d'importance plutôt que des mises à jour (MiniMax-M1) |
rloo |
REINFORCE leave-one-out : baseline = moyenne des autres réponses |
| PPO | Avec critique appris. Plus coûteux, encore utilisé à grande échelle : voir l'infra (verl, OpenRLHF) |
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur instruct ou après SFT | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | Le modèle doit déjà réussir parfois : une récompense toujours nulle ne donne aucun signal |
| LLM de base | Llama-3.1-8B, Qwen2.5-7B, Mistral-7B (versions de base) | ⚠️ | Possible (R1-Zero) mais demande un modèle ≥ 7B et un format simple |
| Multimodal | Qwen2.5-VL | ✅ | GRPOTrainer accepte les images. RLVR sur des questions visuelles vérifiables |
| Agents / usage d'outils | Qwen2.5-Instruct, Llama-3.1-Instruct, Hermes 3 | ✅ | GRPOTrainer(tools=..., environment_factory=...) : récompense sur la réussite de la tâche multi-tours |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ | DDPO, Flow-GRPO : récompense esthétique ou d'alignement texte-image (bibliothèques dédiées) |
| Encodeur / classifieur | BERT, RoBERTa, ModernBERT | ❌ | Pas de génération |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ⚠️ | OpenAI « Reinforcement Fine-Tuning » : on fournit des prompts et un grader |
Quand l'utiliser
- ✅ Tâche vérifiable (maths, code, SQL, JSON valide, jeu) : RLVR, c'est le cas où le RL apporte le plus.
- ✅ Après SFT et/ou DPO, pour dépasser le niveau des démonstrations.
- ⚠️ Récompense apprise ou juge : risque de reward hacking (le modèle exploite les failles du juge). Garder la KL, surveiller les sorties.
- ❌ Si le modèle ne réussit jamais la tâche (récompense toujours 0) : d'abord SFT, ou une tâche plus facile (curriculum).
Pièges
- Récompense nulle partout : aucun gradient. Vérifier
rewarddès les premiers pas, simplifier la tâche. - Reward hacking : réponses vides mais bien formatées, répétition de ce qui plaît au juge… Lire des générations régulièrement.
- Longueur : la réponse peut s'allonger ou raccourcir sans raison.
dr_grpoetdapocorrigent les biais connus. - Effondrement de l'entropie : toutes les réponses d'un groupe deviennent identiques, avantage nul. Température ≥ 1,
epsilon_high(DAPO). - Mémoire : politique + référence (si β > 0) + génération. β=0 et LoRA réduisent l'empreinte.
Références
- PPO : Schulman et al., Proximal Policy Optimization Algorithms (2017). Policy gradient avec clipping et critique appris.
- RLHF : Stiennon et al., Learning to summarize from human feedback (2020). Modèle de récompense appris sur des préférences humaines, puis PPO.
- Constitutional AI : Bai et al., Constitutional AI: Harmlessness from AI Feedback (2022). Critique-révision et RL depuis un retour d'IA guidé par des principes.
- RLAIF : Lee et al., RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (2023). Un LLM remplace les annotateurs humains.
- GRPO : Shao et al., DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (2024). Avantages relatifs au groupe, sans critique.
- DeepSeek-R1 : DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (2025). RL à récompense vérifiable pour le raisonnement ; modèles R1-Distill.
- Dr.GRPO : Liu et al., Understanding R1-Zero-Like Training: A Critical Perspective (2025). Retirer les biais de longueur et de difficulté de GRPO.
- DAPO : Yu et al., DAPO: An Open-Source LLM Reinforcement Learning System at Scale (2025). Clipping asymétrique, normalisation par token, masque des réponses tronquées.
- GSPO : Zheng et al., Group Sequence Policy Optimization (2025). Ratio d'importance au niveau de la séquence.
- CISPO (MiniMax-M1) : MiniMax, MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention (2025). Clipper les poids d'importance plutôt que les mises à jour.
- RLOO : Ahmadian et al., Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs (2024). REINFORCE avec baseline leave-one-out.
Dans le dépôt
Exemple, résultats mesurés et commandes : RL en ligne : exemple de code.