Quelle méthode pour quel besoin
| Catégorie |
|---|
| DATA Apprendre à partir de données |
| SIGN Apprendre à partir d'un signal |
| EDIT Chirurgie du modèle |
| FORM Remodeler : étendre ou compresser |
| EXEC À l'exécution, sans toucher aux poids |
| Calcul | |
|---|---|
| CPU ou API | |
| 1 GPU (inférence) | |
| 1 GPU (entraînement) | |
| plusieurs GPU | |
| Temps | |
|---|---|
| minutes | |
| heures | |
| jours | |
| Modèle | |
|---|---|
| poids nécessaires | |
| fermé (API) possible | |
| Données à fournir | |
|---|---|
| — | aucune donnée |
| texte brut, documents | |
| exemples annotés | |
| préférences A > B | |
| réponses vérifiables | |
| Contre l'oubli | |
| remélanger du général | |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.
Les méthodes de la catégorie EXEC « À l'exécution, sans toucher aux poids » marchent aussi avec un modèle fermé appelé par API. Elles se combinent avec toutes les autres : un modèle affiné se sert encore avec un bon prompt, du RAG et des outils.
Recette d'un modèle post-entraîné
Les grands modèles ouverts (Tülu 3, Llama 3, Qwen) enchaînent plusieurs de ces méthodes. L'ordre type :
- Pré-entraînement continu sur des données de qualité, éventuellement avec extension de contexte.
- SFT sur des instructions, enrichi de données synthétiques filtrées.
- DPO sur des préférences, dont des préférences produites par le modèle lui-même.
- RL à récompense vérifiable sur les maths, le code et le respect des consignes.
- Fusion éventuelle de plusieurs variantes.
- Quantification pour le service.
- Au déploiement : prompt système, RAG, outils et calcul à l'inférence.