Optimisation des préférences
Montrer au modèle des paires « réponse préférée / réponse rejetée » et le pousser vers la préférée, sans modèle de récompense ni boucle de RL.
- Identifiant : SIGN04
- Catégorie : SIGN · Apprendre à partir d'un signal
- Regroupe : DPO, IPO, rDPO, SLiC, APO, NCA, BCO, SPPO, ORPO, SimPO, CPO, KTO ; variante DPO itératif
- Modèles concernés : LLM (après SFT), VLM, diffusion (Diffusion-DPO)
- Calcul : 1 GPU (entraînement)
- Temps : heures
- Modèle :
poids nécessaires - Données : préférences A > B
- GPU local 12 Go (exemple de code) : ⚠️ ≤ 0,5B complet, ≤ 3B LoRA
- Code :
04-optimisation-preferences/
Principe
Le RLHF classique entraîne d'abord un modèle de récompense, puis optimise la politique avec PPO (SIGN05). DPO montre que le même objectif (maximiser la préférence sans trop s'éloigner du modèle de référence) se ramène à une simple perte de classification sur les paires :
perte = -log σ( β · [ (log π(préférée) - log π_ref(préférée)) - (log π(rejetée) - log π_ref(rejetée)) ] )
Toutes les méthodes regroupées ici utilisent les mêmes données (prompt, préférée, rejetée) et la même boucle. Elles ne diffèrent que par la perte, d'où leur regroupement. On choisit avec --set algo=... :
| Algo | Idée | Référence nécessaire |
|---|---|---|
dpo |
Perte sigmoïde de DPO | oui |
dpo_norm |
DPO normalisé par la longueur (Tülu 3), limite la dérive vers les réponses longues | oui |
ipo |
Perte quadratique, moins de surapprentissage quand les préférences sont tranchées | oui |
rdpo |
Robuste aux paires mal étiquetées (label_smoothing = taux de bruit) |
oui |
slic |
Perte hinge (SLiC-HF) | oui |
apo_zero / apo_down |
Ancrage : pousser la préférée vers le haut ou la rejetée vers le bas selon la qualité des données | oui |
nca, bco, sppo, exo, aot, discopop |
Autres formulations (probabiliste, classifieur, jeu, transport optimal, perte découverte par LLM) | oui |
orpo |
SFT + terme de ratio de cotes, en une seule étape | non |
simpo |
Récompense = log-prob moyenne, avec une marge γ | non |
cpo |
DPO sans référence + terme de vraisemblance (traduction) | non |
kto |
Pas de paires : chaque réponse est seulement « bonne » ou « mauvaise » (feedback 👍/👎) | oui |
Le DPO itératif / on-policy (variantes/dpo-iteratif) fait générer les paires par le modèle lui-même à chaque tour. Un juge les classe : vérificateur, modèle de récompense ou LLM juge. Les paires restent ainsi dans la distribution du modèle, ce qui marche nettement mieux que des paires figées écrites par d'autres (mesuré ici : 0,616 de victoires contre 0,552).
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur, idéalement après un SFT | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | run.py |
| LLM instruct du commerce | Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct | ✅ | Déjà SFT, on peut appliquer DPO directement |
| Modèle de base (sans SFT) | Llama-3.1-8B, Qwen2.5-7B (versions de base) | ⚠️ | Préférer ORPO, qui combine SFT et préférences, ou faire un SFT d'abord |
| Multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | DPOTrainer gère les images dans les prompts (réduction des hallucinations visuelles) |
| Diffusion | Stable Diffusion, SDXL | ✅ | Diffusion-DPO : même idée appliquée à la perte de débruitage (scripts diffusers train_diffusion_dpo) |
| Encodeur / classifieur | BERT | ❌ | Pas de génération, rien à préférer |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ⚠️ | OpenAI propose un « preference fine-tuning » (DPO) sur ses modèles |
Quand l'utiliser
- ✅ Après un SFT, pour aligner le ton, l'utilité, la sécurité, la concision.
- ✅ Vous avez ou pouvez produire des comparaisons : annotateurs, 👍/👎 des utilisateurs (KTO), LLM juge, vérificateur.
- ✅ Alternative bien plus simple et stable que PPO pour les préférences « subjectives ».
- ⚠️ Pour le raisonnement vérifiable (maths, code), le RL en ligne avec récompense vérifiable (SIGN05) va plus loin. Le DPO itératif est un intermédiaire.
Pièges
- lr trop élevé : c'est la première cause d'échec. Commencer à 5e-7 en complet.
- Dérive de longueur : DPO favorise les réponses longues. Utiliser
dpo_normousimpo, surveiller la longueur moyenne. - Paires off-policy : des paires écrites par un autre modèle apprennent moins. Préférer le DPO itératif.
- « Déplacement de vraisemblance » : la log-prob de la réponse préférée peut baisser pendant l'entraînement, seule la marge compte. Ajouter un peu de SFT (
loss_type: [sigmoid, sft]) si ça dégrade la génération. - Chat template : le même qu'au SFT.
Références
- DPO : Rafailov et al., Direct Preference Optimization: Your Language Model is Secretly a Reward Model (2023). Préférences optimisées directement, sans modèle de récompense ni RL.
- IPO : Azar et al., A General Theoretical Paradigm to Understand Learning from Human Preferences (2023). Perte quadratique, moins de surapprentissage des préférences.
- rDPO : Chowdhury et al., Provably Robust DPO: Aligning Language Models with Noisy Feedback (2024). DPO robuste aux étiquettes bruitées.
- SLiC-HF : Zhao et al., SLiC-HF: Sequence Likelihood Calibration with Human Feedback (2023). Calibration de la vraisemblance par perte hinge.
- APO : D'Oosterlinck et al., Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment (2024). Préférences ancrées : monter la préférée ou baisser la rejetée.
- NCA : Chen et al., Noise Contrastive Alignment of Language Models with Explicit Rewards (2024). Alignement par estimation contrastive du bruit.
- BCO : Jung et al., Binary Classifier Optimization for Large Language Model Alignment (2024). Préférences vues comme un classifieur binaire.
- SPPO : Wu et al., Self-Play Preference Optimization for Language Model Alignment (2024). Préférences comme un jeu à deux joueurs (self-play).
- EXO : Ji et al., Towards Efficient Exact Optimization of Language Model Alignment (2024). Optimisation exacte de l'objectif d'alignement.
- AOT : Melnyk et al., Distributional Preference Alignment of LLMs via Optimal Transport (2024). Alignement de distributions par transport optimal.
- DiscoPOP : Lu et al., Discovering Preference Optimization Algorithms with and for Large Language Models (2024). Perte de préférence découverte par un LLM.
- ORPO : Hong et al., ORPO: Monolithic Preference Optimization without Reference Model (2024). SFT et préférences en une étape, sans référence.
- SimPO : Meng et al., SimPO: Simple Preference Optimization with a Reference-Free Reward (2024). Récompense = log-probabilité moyenne, avec marge, sans référence.
- CPO : Xu et al., Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation (2024). Préférences contrastives sans référence (traduction).
- KTO : Ethayarajh et al., KTO: Model Alignment as Prospect Theoretic Optimization (2024). Réponses non appariées : seulement bonne ou mauvaise.
- RPO : Pang et al., Iterative Reasoning Preference Optimization (2024). DPO + terme de vraisemblance sur la réponse préférée.
- Déplacement de vraisemblance : Razin et al., Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization (2024). Pourquoi DPO peut faire baisser la probabilité de la réponse préférée.
- Self-Rewarding : Yuan et al., Self-Rewarding Language Models (2024). Le modèle juge ses propres réponses pour un DPO itératif.
- DPO itératif : Xiong et al., Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint (2023). Préférences on-policy répétées : théorie et pratique.
- Tülu 3 : Lambert et al., Tulu 3: Pushing Frontiers in Open Language Model Post-Training (2024). Recette complète ouverte : SFT, DPO, RLVR.
Dans le dépôt
Exemple, résultats mesurés et commandes : Optimisation des préférences : exemple de code.