AmeliorIA

tekio.org

SIGN : choisir entre les méthodes

Quel signalavez-vous ?Des pairesA meilleur que BSIGN04 · DPOCalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairespréférences A > B Un vérificateurautomatiqueSIGN07 · Données synth.Calcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables plafonneSIGN05 · RLCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables Une note(humain ou juge)SIGN05 · RLCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables Un grand modèleenseignantSIGN06 · DistillationCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Ici, on n'a pas les bonnes réponses écrites à l'avance. On a un signal qui dit ce qui est mieux : une préférence entre deux réponses, un programme qui vérifie le résultat, une note, ou un modèle plus fort qui montre l'exemple. Le signal disponible choisit la méthode.

Des préférences : optimisation des préférences (DPO)

Pour une même demande, une réponse préférée et une réponse rejetée : choix d'annotateurs, 👍/👎 des utilisateurs, avis d'un modèle juge. L'optimisation des préférences apprend directement de ces paires, sans modèle de récompense ni génération pendant l'entraînement. C'est la méthode la plus simple et la plus stable pour régler un ton, une concision, une prudence. Elle s'applique en général après un fine-tuning supervisé.

Un vérificateur : données synthétiques, puis RL

La réponse se vérifie automatiquement : un résultat de calcul, un code qui passe ses tests, un JSON valide.

  • On commence par les données synthétiques : le modèle génère plusieurs réponses, le vérificateur garde les justes, et l'on entraîne le modèle sur ce qu'il a réussi. C'est simple et peu coûteux.
  • Quand ce filtrage plafonne, on passe au RL en ligne (GRPO, DAPO) : le modèle est récompensé à chaque essai réussi et améliore sa façon de chercher. C'est le plus efficace pour le raisonnement, mais aussi le plus coûteux.

Dans les deux cas, il faut que le modèle réussisse déjà de temps en temps. S'il échoue toujours, il n'y a rien à renforcer : il faut d'abord un fine-tuning supervisé ou une tâche plus facile.

Une note : RL avec modèle de récompense

Sans vérificateur, mais avec des notes données par des humains ou par un modèle juge, on entraîne un modèle de récompense qui note les réponses, puis on optimise le modèle par RL en ligne. Le risque : le modèle apprend à exploiter les failles du juge plutôt qu'à mieux répondre. Il faut surveiller ses sorties.

Un modèle enseignant : distillation

Un grand modèle fait bien la tâche et l'on veut un petit modèle, moins cher à servir, qui s'en approche. La distillation entraîne le petit modèle à imiter les sorties, ou les probabilités, du grand. L'élève reste en dessous de son enseignant.

Comparer les méthodes

Méthode Calcul Temps Données à fournir Remélanger du général Exemples de code
SIGN04 · Optimisation des préférences 1 GPU (entraînement) heures préférences A > B — non prouvé non prouvé
SIGN05 · RL en ligne plusieurs GPU jours réponses vérifiables — démontré démontré
SIGN06 · Distillation plusieurs GPU jours texte brut, documents — démontré démontré
SIGN07 · Données synthétiques 1 GPU (entraînement) heures réponses vérifiables — non prouvé

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel. Statuts des exemples : Statut des exemples.