SIGN : choisir entre les méthodes
| Catégorie |
|---|
| DATA Apprendre à partir de données |
| SIGN Apprendre à partir d'un signal |
| EDIT Chirurgie du modèle |
| FORM Remodeler : étendre ou compresser |
| EXEC À l'exécution, sans toucher aux poids |
| Calcul | |
|---|---|
| CPU ou API | |
| 1 GPU (inférence) | |
| 1 GPU (entraînement) | |
| plusieurs GPU | |
| Temps | |
|---|---|
| minutes | |
| heures | |
| jours | |
| Modèle | |
|---|---|
| poids nécessaires | |
| fermé (API) possible | |
| Données à fournir | |
|---|---|
| — | aucune donnée |
| texte brut, documents | |
| exemples annotés | |
| préférences A > B | |
| réponses vérifiables | |
| Contre l'oubli | |
| remélanger du général | |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.
Ici, on n'a pas les bonnes réponses écrites à l'avance. On a un signal qui dit ce qui est mieux : une préférence entre deux réponses, un programme qui vérifie le résultat, une note, ou un modèle plus fort qui montre l'exemple. Le signal disponible choisit la méthode.
Des préférences : optimisation des préférences (DPO)
Pour une même demande, une réponse préférée et une réponse rejetée : choix d'annotateurs, 👍/👎 des utilisateurs, avis d'un modèle juge. L'optimisation des préférences apprend directement de ces paires, sans modèle de récompense ni génération pendant l'entraînement. C'est la méthode la plus simple et la plus stable pour régler un ton, une concision, une prudence. Elle s'applique en général après un fine-tuning supervisé.
Un vérificateur : données synthétiques, puis RL
La réponse se vérifie automatiquement : un résultat de calcul, un code qui passe ses tests, un JSON valide.
- On commence par les données synthétiques : le modèle génère plusieurs réponses, le vérificateur garde les justes, et l'on entraîne le modèle sur ce qu'il a réussi. C'est simple et peu coûteux.
- Quand ce filtrage plafonne, on passe au RL en ligne (GRPO, DAPO) : le modèle est récompensé à chaque essai réussi et améliore sa façon de chercher. C'est le plus efficace pour le raisonnement, mais aussi le plus coûteux.
Dans les deux cas, il faut que le modèle réussisse déjà de temps en temps. S'il échoue toujours, il n'y a rien à renforcer : il faut d'abord un fine-tuning supervisé ou une tâche plus facile.
Une note : RL avec modèle de récompense
Sans vérificateur, mais avec des notes données par des humains ou par un modèle juge, on entraîne un modèle de récompense qui note les réponses, puis on optimise le modèle par RL en ligne. Le risque : le modèle apprend à exploiter les failles du juge plutôt qu'à mieux répondre. Il faut surveiller ses sorties.
Un modèle enseignant : distillation
Un grand modèle fait bien la tâche et l'on veut un petit modèle, moins cher à servir, qui s'en approche. La distillation entraîne le petit modèle à imiter les sorties, ou les probabilités, du grand. L'élève reste en dessous de son enseignant.
Comparer les méthodes
| Méthode | Calcul | Temps | Données à fournir | Remélanger du général | Exemples de code |
|---|---|---|---|---|---|
| SIGN04 · Optimisation des préférences | 1 GPU (entraînement) | heures | préférences A > B | — | non prouvé non prouvé |
| SIGN05 · RL en ligne | plusieurs GPU | jours | réponses vérifiables | — | démontré démontré |
| SIGN06 · Distillation | plusieurs GPU | jours | texte brut, documents | — | démontré démontré |
| SIGN07 · Données synthétiques | 1 GPU (entraînement) | heures | réponses vérifiables | — | non prouvé |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel. Statuts des exemples : Statut des exemples.