AmeliorIA

tekio.org

Optimisation des préférences

Montrer au modèle des paires « réponse préférée / réponse rejetée » et le pousser vers la préférée, sans modèle de récompense ni boucle de RL.

  • Identifiant : SIGN04
  • Catégorie : SIGN · Apprendre à partir d'un signal
  • Regroupe : DPO, IPO, rDPO, SLiC, APO, NCA, BCO, SPPO, ORPO, SimPO, CPO, KTO ; variante DPO itératif
  • Modèles concernés : LLM (après SFT), VLM, diffusion (Diffusion-DPO)
  • Calcul : 1 GPU (entraînement)
  • Temps : heures
  • Modèle : poids nécessaires
  • Données : préférences A > B
  • GPU local 12 Go (exemple de code) : ⚠️ ≤ 0,5B complet, ≤ 3B LoRA
  • Code : 04-optimisation-preferences/

Principe

Le RLHF classique entraîne d'abord un modèle de récompense, puis optimise la politique avec PPO (SIGN05). DPO montre que le même objectif (maximiser la préférence sans trop s'éloigner du modèle de référence) se ramène à une simple perte de classification sur les paires :

perte = -log σ( β · [ (log π(préférée) - log π_ref(préférée)) - (log π(rejetée) - log π_ref(rejetée)) ] )

Toutes les méthodes regroupées ici utilisent les mêmes données (prompt, préférée, rejetée) et la même boucle. Elles ne diffèrent que par la perte, d'où leur regroupement. On choisit avec --set algo=... :

Algo Idée Référence nécessaire
dpo Perte sigmoïde de DPO oui
dpo_norm DPO normalisé par la longueur (Tülu 3), limite la dérive vers les réponses longues oui
ipo Perte quadratique, moins de surapprentissage quand les préférences sont tranchées oui
rdpo Robuste aux paires mal étiquetées (label_smoothing = taux de bruit) oui
slic Perte hinge (SLiC-HF) oui
apo_zero / apo_down Ancrage : pousser la préférée vers le haut ou la rejetée vers le bas selon la qualité des données oui
nca, bco, sppo, exo, aot, discopop Autres formulations (probabiliste, classifieur, jeu, transport optimal, perte découverte par LLM) oui
orpo SFT + terme de ratio de cotes, en une seule étape non
simpo Récompense = log-prob moyenne, avec une marge γ non
cpo DPO sans référence + terme de vraisemblance (traduction) non
kto Pas de paires : chaque réponse est seulement « bonne » ou « mauvaise » (feedback 👍/👎) oui

Le DPO itératif / on-policy (variantes/dpo-iteratif) fait générer les paires par le modèle lui-même à chaque tour. Un juge les classe : vérificateur, modèle de récompense ou LLM juge. Les paires restent ainsi dans la distribution du modèle, ce qui marche nettement mieux que des paires figées écrites par d'autres (mesuré ici : 0,616 de victoires contre 0,552).

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur, idéalement après un SFT Llama 3, Qwen2.5, Mistral 7B, Gemma 2 ✅ cas principal run.py
LLM instruct du commerce Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct ✅ Déjà SFT, on peut appliquer DPO directement
Modèle de base (sans SFT) Llama-3.1-8B, Qwen2.5-7B (versions de base) ⚠️ Préférer ORPO, qui combine SFT et préférences, ou faire un SFT d'abord
Multimodal Qwen2.5-VL, LLaVA, Idefics ✅ DPOTrainer gère les images dans les prompts (réduction des hallucinations visuelles)
Diffusion Stable Diffusion, SDXL ✅ Diffusion-DPO : même idée appliquée à la perte de débruitage (scripts diffusers train_diffusion_dpo)
Encodeur / classifieur BERT ❌ Pas de génération, rien à préférer
Modèle fermé via API GPT-4o, Claude, Gemini ⚠️ OpenAI propose un « preference fine-tuning » (DPO) sur ses modèles

Quand l'utiliser

  • ✅ Après un SFT, pour aligner le ton, l'utilité, la sécurité, la concision.
  • ✅ Vous avez ou pouvez produire des comparaisons : annotateurs, 👍/👎 des utilisateurs (KTO), LLM juge, vérificateur.
  • ✅ Alternative bien plus simple et stable que PPO pour les préférences « subjectives ».
  • ⚠️ Pour le raisonnement vérifiable (maths, code), le RL en ligne avec récompense vérifiable (SIGN05) va plus loin. Le DPO itératif est un intermédiaire.

Pièges

  • lr trop élevé : c'est la première cause d'échec. Commencer à 5e-7 en complet.
  • Dérive de longueur : DPO favorise les réponses longues. Utiliser dpo_norm ou simpo, surveiller la longueur moyenne.
  • Paires off-policy : des paires écrites par un autre modèle apprennent moins. Préférer le DPO itératif.
  • « Déplacement de vraisemblance » : la log-prob de la réponse préférée peut baisser pendant l'entraînement, seule la marge compte. Ajouter un peu de SFT (loss_type: [sigmoid, sft]) si ça dégrade la génération.
  • Chat template : le même qu'au SFT.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Optimisation des préférences : exemple de code.