AmeliorIA

tekio.org

Fine-tuning supervisé

Entraîner le modèle sur des exemples « entrée -> sortie idéale » pour lui apprendre une tâche, un format ou un comportement.

  • Identifiant : DATA02
  • Catégorie : DATA · Apprendre à partir de données
  • Regroupe : SFT, instruction tuning, fine-tuning complet
  • Modèles concernés : LLM ; variantes : encodeur (classification), vision (ViT), seq2seq (T5), speech (Whisper)
  • Calcul : plusieurs GPU
  • Temps : heures
  • Modèle : poids nécessaires
  • Données : exemples annotés
  • Contre l'oubli : remélanger du général
  • GPU local 12 Go (exemple de code) : ⚠️ ≤ 1B (LLM), ✅ autres
  • Code : 02-fine-tuning-supervise/

Principe

On minimise la perte d'entropie croisée entre la sortie du modèle et la sortie attendue. Pour un LLM, la perte n'est calculée que sur les tokens de la réponse (completion_only_loss) : le modèle apprend à répondre, pas à recopier la question.

Le fine-tuning complet met à jour tous les poids. C'est la version la plus expressive, mais aussi la plus coûteuse en mémoire. Avec AdamW en précision mixte, il faut compter ~16 octets par paramètre : poids fp32, gradients, deux moments, plus les activations. Pour faire la même chose avec 10 fois moins de mémoire, voir LoRA et QLoRA (DATA03). La recette de données est identique.

Ce que le SFT apprend bien : le format, le style, la langue de réponse, une tâche précise, l'utilisation d'outils, le raisonnement pas à pas démontré dans les exemples. Ce qu'il apprend mal : des connaissances nouvelles fiables (risque d'hallucination accru), et un comportement meilleur que celui des exemples eux-mêmes.

Modèles concernés

Type de modèle Exemples de modèles Applicable Exemple dans ce dossier
LLM décodeur LLaMA, Qwen, Mistral, Gemma, Phi, SmolLM, GPT-2 ✅ run.py : routage de messages clients vers 77 intentions (banking77)
Encodeur BERT, RoBERTa, ModernBERT, DeBERTa, CamemBERT ✅ variantes/classification-encodeur : mêmes 77 intentions (banking77)
Encodeur-décodeur T5, FLAN-T5, BART, mT5, NLLB ✅ variantes/seq2seq
Vision ViT, DeiT, DINOv2, ConvNeXt, Swin ✅ variantes/vision : CIFAR-10
Audio / speech Whisper, wav2vec2 ✅ variantes/audio-whisper : français, mesure du WER
Multimodal Qwen2.5-VL, LLaVA, Idefics ✅ Même SFTTrainer, avec des messages contenant des images (voir la doc TRL « VLM SFT »)
Diffusion Stable Diffusion, Flux ✅ Fine-tuning complet ou DreamBooth : voir 03 variante diffusion, en passant de LoRA à train_text_to_image.py
Modèle fermé via API GPT-4o, Claude, Gemini ⚠️ Fine-tuning « as a service » (OpenAI, Vertex AI Gemini, Bedrock) : on envoie un JSONL au même format prompt/réponse, sans accès aux poids

Quand l'utiliser

  • ✅ Un format ou un comportement précis, reproductible, avec quelques centaines à quelques dizaines de milliers d'exemples.
  • ✅ Transformer un modèle de base en assistant (instruction tuning).
  • ✅ Distiller les réponses d'un gros modèle vers un petit (SIGN06, SIGN07).
  • ❌ Si le prompting suffit (EXEC17) : toujours essayer avant.
  • ❌ Pour des connaissances évolutives : RAG (EXEC18).
  • ⚠️ Si la mémoire manque : LoRA ou QLoRA (DATA03), en gardant exactement les mêmes données.

Pièges

  • Chat template : entraîner et servir avec le même template (le SFTTrainer utilise celui du tokenizer).
  • Surapprentissage : sur de petits jeux, 1 à 3 epochs suffisent. Surveiller une métrique de généralisation.
  • Oubli : le SFT étroit dégrade les capacités générales, ici jusqu'à perdre le raisonnement pas à pas. Le mesurer sur une tâche hors sujet, mêler des données générales, ou passer par LoRA (docs/oubli-catastrophique.md).
  • Comparer au bon point de départ : donner au modèle de départ la liste des réponses possibles, sinon le gain mesuré n'est qu'un gain de format.
  • Qualité plutôt que quantité : 1 000 exemples excellents valent mieux que 100 000 médiocres (LIMA).
  • T5 en fp16/bf16 : instable, rester en fp32 (voir la config seq2seq).

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Fine-tuning supervisé : exemple de code.