Cas : raisonnement
| Catégorie |
|---|
| DATA Apprendre à partir de données |
| SIGN Apprendre à partir d'un signal |
| EDIT Chirurgie du modèle |
| FORM Remodeler : étendre ou compresser |
| EXEC À l'exécution, sans toucher aux poids |
| Calcul | |
|---|---|
| CPU ou API | |
| 1 GPU (inférence) | |
| 1 GPU (entraînement) | |
| plusieurs GPU | |
| Temps | |
|---|---|
| minutes | |
| heures | |
| jours | |
| Modèle | |
|---|---|
| poids nécessaires | |
| fermé (API) possible | |
| Données à fournir | |
|---|---|
| — | aucune donnée |
| texte brut, documents | |
| exemples annotés | |
| préférences A > B | |
| réponses vérifiables | |
| Contre l'oubli | |
| remélanger du général | |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.
On distingue d'abord ce qui relève du calcul ou de l'action, que le modèle ne doit pas faire de tête, de ce qui relève vraiment du raisonnement.
Calcul exact ou action : les outils
Un calcul exact, une requête en base, un appel d'API : le modèle décrit l'appel, un programme l'exécute et lui rend le résultat. C'est fiable, peu coûteux, et compatible avec un modèle fermé.
Raisonnement : d'abord à l'inférence
Faire produire plusieurs raisonnements et garder la réponse majoritaire améliore nettement la justesse sans rien entraîner. Le prix se paie à chaque requête : N appels au lieu d'un. Si ça suffit, on garde le vote.
Trop cher à l'usage : apprendre le raisonnement
Si le coût par requête devient trop élevé, on fait entrer le raisonnement dans les poids. Tout dépend alors de la possibilité de vérifier une réponse par un programme (résultat numérique, tests de code, requête SQL).
- Réponses vérifiables : on fait générer de nombreuses solutions, on ne garde que les justes et on entraîne dessus (données synthétiques). Si ce n'est pas suffisant, le RL à récompense vérifiable fait progresser le modèle au-delà de ce qu'il réussit déjà.
- Réponses non vérifiables : il faut des solutions rédigées par des humains, et un SFT sur ces exemples.