Fine-tuning supervisé
Entraîner le modèle sur des exemples « entrée -> sortie idéale » pour lui apprendre une tâche, un format ou un comportement.
- Identifiant : DATA02
- Catégorie : DATA · Apprendre à partir de données
- Regroupe : SFT, instruction tuning, fine-tuning complet
- Modèles concernés : LLM ; variantes : encodeur (classification), vision (ViT), seq2seq (T5), speech (Whisper)
- Calcul : plusieurs GPU
- Temps : heures
- Modèle :
poids nécessaires - Données : exemples annotés
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ⚠️ ≤ 1B (LLM), ✅ autres
- Code :
02-fine-tuning-supervise/
Principe
On minimise la perte d'entropie croisée entre la sortie du modèle et la sortie attendue. Pour un LLM, la perte n'est calculée que sur les tokens de la réponse (completion_only_loss) : le modèle apprend à répondre, pas à recopier la question.
Le fine-tuning complet met à jour tous les poids. C'est la version la plus expressive, mais aussi la plus coûteuse en mémoire. Avec AdamW en précision mixte, il faut compter ~16 octets par paramètre : poids fp32, gradients, deux moments, plus les activations. Pour faire la même chose avec 10 fois moins de mémoire, voir LoRA et QLoRA (DATA03). La recette de données est identique.
Ce que le SFT apprend bien : le format, le style, la langue de réponse, une tâche précise, l'utilisation d'outils, le raisonnement pas à pas démontré dans les exemples. Ce qu'il apprend mal : des connaissances nouvelles fiables (risque d'hallucination accru), et un comportement meilleur que celui des exemples eux-mêmes.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Exemple dans ce dossier |
|---|---|---|---|
| LLM décodeur | LLaMA, Qwen, Mistral, Gemma, Phi, SmolLM, GPT-2 | ✅ | run.py : routage de messages clients vers 77 intentions (banking77) |
| Encodeur | BERT, RoBERTa, ModernBERT, DeBERTa, CamemBERT | ✅ | variantes/classification-encodeur : mêmes 77 intentions (banking77) |
| Encodeur-décodeur | T5, FLAN-T5, BART, mT5, NLLB | ✅ | variantes/seq2seq |
| Vision | ViT, DeiT, DINOv2, ConvNeXt, Swin | ✅ | variantes/vision : CIFAR-10 |
| Audio / speech | Whisper, wav2vec2 | ✅ | variantes/audio-whisper : français, mesure du WER |
| Multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | Même SFTTrainer, avec des messages contenant des images (voir la doc TRL « VLM SFT ») |
| Diffusion | Stable Diffusion, Flux | ✅ | Fine-tuning complet ou DreamBooth : voir 03 variante diffusion, en passant de LoRA à train_text_to_image.py |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ⚠️ | Fine-tuning « as a service » (OpenAI, Vertex AI Gemini, Bedrock) : on envoie un JSONL au même format prompt/réponse, sans accès aux poids |
Quand l'utiliser
- ✅ Un format ou un comportement précis, reproductible, avec quelques centaines à quelques dizaines de milliers d'exemples.
- ✅ Transformer un modèle de base en assistant (instruction tuning).
- ✅ Distiller les réponses d'un gros modèle vers un petit (SIGN06, SIGN07).
- ❌ Si le prompting suffit (EXEC17) : toujours essayer avant.
- ❌ Pour des connaissances évolutives : RAG (EXEC18).
- ⚠️ Si la mémoire manque : LoRA ou QLoRA (DATA03), en gardant exactement les mêmes données.
Pièges
- Chat template : entraîner et servir avec le même template (le
SFTTrainerutilise celui du tokenizer). - Surapprentissage : sur de petits jeux, 1 à 3 epochs suffisent. Surveiller une métrique de généralisation.
- Oubli : le SFT étroit dégrade les capacités générales, ici jusqu'à perdre le raisonnement pas à pas. Le mesurer sur une tâche hors sujet, mêler des données générales, ou passer par LoRA (docs/oubli-catastrophique.md).
- Comparer au bon point de départ : donner au modèle de départ la liste des réponses possibles, sinon le gain mesuré n'est qu'un gain de format.
- Qualité plutôt que quantité : 1 000 exemples excellents valent mieux que 100 000 médiocres (LIMA).
- T5 en fp16/bf16 : instable, rester en fp32 (voir la config seq2seq).
Références
- Instruction tuning (FLAN) : Wei et al., Finetuned Language Models Are Zero-Shot Learners (2021). Fine-tuning multi-tâches formulé en instructions.
- InstructGPT : Ouyang et al., Training language models to follow instructions with human feedback (2022). SFT puis RLHF : la recette des assistants.
- LIMA : Zhou et al., LIMA: Less Is More for Alignment (2023). Peu d'exemples de grande qualité suffisent à l'alignement du format.
- banking77 : Casanueva et al., Efficient Intent Detection with Dual Sentence Encoders (2020). Jeu de 77 intentions de clients bancaires, référence de la détection d'intentions.
Dans le dépôt
Exemple, résultats mesurés et commandes : Fine-tuning supervisé : exemple de code.