DATA : choisir entre les méthodes
| Catégorie |
|---|
| DATA Apprendre à partir de données |
| SIGN Apprendre à partir d'un signal |
| EDIT Chirurgie du modèle |
| FORM Remodeler : étendre ou compresser |
| EXEC À l'exécution, sans toucher aux poids |
| Calcul | |
|---|---|
| CPU ou API | |
| 1 GPU (inférence) | |
| 1 GPU (entraînement) | |
| plusieurs GPU | |
| Temps | |
|---|---|
| minutes | |
| heures | |
| jours | |
| Modèle | |
|---|---|
| poids nécessaires | |
| fermé (API) possible | |
| Données à fournir | |
|---|---|
| — | aucune donnée |
| texte brut, documents | |
| exemples annotés | |
| préférences A > B | |
| réponses vérifiables | |
| Contre l'oubli | |
| remélanger du général | |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.
Les trois méthodes de cette catégorie font la même chose : elles ajustent les poids du modèle sur vos données, par descente de gradient. Ce qui les distingue, c'est la nature des données (texte brut ou exemples annotés) et la part des poids modifiée (tous, ou un petit adaptateur).
Vous avez du texte brut : pré-entraînement continu
Des documents du domaine, sans questions ni réponses : rapports, contrats, articles médicaux, textes dans une langue mal couverte. Le pré-entraînement continu reprend l'entraînement du modèle sur ce texte pour qu'il en apprenne le vocabulaire et le style.
C'est la méthode la plus coûteuse de la catégorie : il faut beaucoup de texte (des dizaines de millions de tokens au moins) et plusieurs GPU pendant des jours. Elle rend le modèle plus à l'aise dans le domaine, mais ne le rend pas capable de répondre à des questions sur ce texte : l'exemple de code le montre, la perplexité du domaine s'effondre sans que le modèle sache restituer les faits appris. On la fait donc suivre d'un entraînement sur la tâche visée.
Vous avez des exemples entrée → sortie : LoRA d'abord
Des paires question → réponse, texte → catégorie, demande → JSON. On commence par LoRA ou QLoRA : seul un petit adaptateur est entraîné, sur un seul GPU, en quelques heures, et l'on peut garder un adaptateur par tâche ou par client.
Si l'effet ne suffit pas, notamment pour un gros changement de comportement, on passe au fine-tuning supervisé complet, sur les mêmes données : tous les poids bougent, ce qui demande plus de mémoire et dégrade davantage les capacités générales.
Avant de commencer
- Vos données sont des faits qui changent ou qu'il faut citer (catalogue, documentation interne) : ne les apprenez pas dans les poids, faites-les consulter par RAG.
- Essayez d'abord le prompt (EXEC17) : s'il suffit, aucun entraînement n'est nécessaire.
- Contre l'oubli : le pré-entraînement continu et le fine-tuning complet dégradent ce que le modèle savait. On mélange à ses données une part de texte ou d'exemples généraux.
Comparer les méthodes
| Méthode | Calcul | Temps | Données à fournir | Remélanger du général | Exemples de code |
|---|---|---|---|---|---|
| DATA01 · Pré-entraînement continu | plusieurs GPU | jours | texte brut, documents | oui | démontré non prouvé |
| DATA02 · Fine-tuning supervisé | plusieurs GPU | heures | exemples annotés | oui | démontré démontré démontré démontré démontré |
| DATA03 · PEFT (LoRA, QLoRA...) | 1 GPU (entraînement) | heures | exemples annotés | — | démontré démontré |
Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel. Statuts des exemples : Statut des exemples.