Cas : tâche, format ou style
| Catégorie |
|---|
| DATA Apprendre à partir de données |
| SIGN Apprendre à partir d'un signal |
| EDIT Chirurgie du modèle |
| FORM Remodeler : étendre ou compresser |
| EXEC À l'exécution, sans toucher aux poids |
| Calcul | |
|---|---|
| CPU ou API | |
| 1 GPU (inférence) | |
| 1 GPU (entraînement) | |
| plusieurs GPU | |
| Temps | |
|---|---|
| minutes | |
| heures | |
| jours | |
| Modèle | |
|---|---|
| poids nécessaires | |
| fermé (API) possible | |
| Données à fournir | |
|---|---|
| — | aucune donnée |
| texte brut, documents | |
| exemples annotés | |
| préférences A > B | |
| réponses vérifiables | |
| Contre l'oubli | |
| remélanger du général | |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.
La question décisive est ce qu'on sait fournir pour montrer ce qu'on attend : quelques exemples, des centaines, ou seulement des jugements entre deux réponses.
Quelques exemples : le prompt
Une consigne précise et quelques exemples dans le prompt suffisent souvent à fixer un format, un ton ou une tâche simple. Rien n'est entraîné, et la méthode marche avec un modèle fermé. Si le résultat ne suffit pas, il faut annoter des centaines d'exemples et passer à l'entraînement.
Des centaines d'exemples : LoRA, puis SFT complet
Avec quelques centaines à quelques milliers d'exemples annotés, une LoRA apprend la tâche en n'entraînant qu'un petit module : peu de mémoire, peu de temps, peu d'oubli. Elle plafonne quand la tâche demande un changement profond du modèle ; le SFT complet, qui entraîne tous les poids, va alors plus loin, au prix de plusieurs GPU et d'un mélange de données générales pour limiter l'oubli.
Seulement des jugements : DPO, puis RL
Quand on sait dire laquelle de deux réponses est la meilleure sans savoir écrire la bonne (ton, utilité, sécurité), le DPO apprend directement de ces paires. Si un programme peut noter les réponses (tests, règles, juge automatique), le RL fait répondre le modèle, note chaque réponse et le pousse vers les mieux notées : plus coûteux, mais il dépasse les exemples fournis.