Distillation
Un gros modèle « enseignant » transmet son comportement à un petit modèle « élève », plus rapide et moins cher à servir.
- Identifiant : SIGN06
- Catégorie : SIGN · Apprendre à partir d'un signal
- Regroupe : Logits (KD), séquences, on-policy (GKD) ; variante classifieur encodeur
- Modèles concernés : LLM (même tokenizer pour logits), encodeurs, vision, diffusion
- Calcul : plusieurs GPU
- Temps : jours
- Modèle :
poids nécessaires - Données : texte brut, documents
- GPU local 12 Go (exemple de code) : ✅ petits couples · ☁️ 70B → 8B
- Code :
06-distillation/
Principe
L'élève n'apprend plus seulement la bonne réponse (un token cible), mais ce que l'enseignant sait de toutes les réponses possibles. Trois modes (--set mode=...), du plus simple au plus fidèle :
mode |
Ce que l'élève imite | Même tokenizer ? | Coût |
|---|---|---|---|
sequence |
Les réponses rédigées par l'enseignant, filtrées quand elles sont vérifiables, puis SFT classique | non | Génération par l'enseignant, puis un SFT |
logits |
La distribution complète de l'enseignant à chaque token (KL à température T), sur des réponses fixes | oui | Enseignant et élève en mémoire en même temps |
on_policy |
La distribution de l'enseignant sur les propres réponses de l'élève (GKD, JSD généralisée) | oui | Génération par l'élève à chaque pas |
Perte du mode logits :
perte = α · T² · KL(softmax(z_enseignant / T) ‖ softmax(z_élève / T)) + (1 - α) · CE(élève, réponse)
La température T > 1 adoucit les distributions : l'élève apprend aussi quelles mauvaises réponses sont presque bonnes (« dark knowledge »). Le mode on_policy corrige le principal défaut des deux autres : l'élève, entraîné sur des préfixes écrits par l'enseignant, ne sait pas se rattraper quand il dérive de lui-même à la génération.
Lien avec les données synthétiques (SIGN07) : le mode sequence est une génération filtrée dont le générateur est un modèle plus fort.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur, enseignant et élève de la même famille | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | run.py : tous les modes (Qwen2.5-1.5B → 0.5B, Llama-3.1-8B → 3.2-1B) |
| LLM de familles différentes | Llama 3 → Qwen2.5 | ⚠️ | Mode sequence seulement ; les modes à logits demandent le même vocabulaire (ou un alignement de tokenizers, ULD) |
| Encodeurs / classifieurs | BERT, RoBERTa | ✅ | variantes/encodeur-classification : KD sur les logits de classes, tokenizers différents possibles |
| Vision | ViT, CNN | ✅ | Même perte sur les logits de classes (DeiT ajoute un token de distillation) |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ | Distillation de pas d'échantillonnage (LCM, SDXL-Turbo, consistency models) : moins de pas plutôt que moins de paramètres |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ✅ comme enseignant | Mode sequence uniquement (pas de logits), en respectant les conditions d'utilisation du fournisseur |
Quand l'utiliser
- ✅ Servir un modèle plus petit avec une qualité proche d'un grand, sur une tâche donnée.
- ✅ Après un élagage (FORM16) : la distillation est la meilleure cicatrisation.
- ✅ Transférer un comportement coûteux à obtenir (raisonnement long, format) d'un modèle entraîné par RL vers un petit modèle.
- ⚠️ L'élève plafonne sous l'enseignant. Un écart de taille trop grand (×20 et plus) apprend moins bien qu'un enseignant intermédiaire.
- ❌ Si la quantification (FORM15) suffit à faire tenir le modèle : elle ne demande aucun entraînement.
Pièges
- Tokenizers différents : les modes
logitseton_policyn'ont de sens qu'avec le même vocabulaire. Deux modèles d'une même famille peuvent avoir des tailles de matrice arrondies différemment : seules les entrées communes sont comparées. - Mémoire : en mode
logits, les logitsbatch × longueur × vocabulairedes deux modèles dominent. Réduire le batch, pas la longueur. - Filtrer les séquences : un enseignant qui se trompe transmet ses erreurs. Vérifier quand c'est possible.
- Style des réponses : entraîner un petit modèle sur des solutions justes mais laconiques lui fait perdre son raisonnement pas à pas (témoin à 0,30 contre 0,41 au départ). Des solutions rédigées par un modèle de la même famille gardent son style.
- Écart de capacité : un élève trop petit n'absorbe pas la distribution de l'enseignant ; un enseignant intermédiaire aide.
- Conditions d'utilisation : certains fournisseurs interdisent d'entraîner un modèle concurrent sur leurs sorties.
Références
- Distillation de logits : Hinton et al., Distilling the Knowledge in a Neural Network (2015). Imiter les probabilités adoucies de l'enseignant.
- Distillation de séquences : Kim & Rush, Sequence-Level Knowledge Distillation (2016). Entraîner l'élève sur les sorties générées par l'enseignant.
- DistilBERT : Sanh et al., DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (2019). BERT réduit de 40 % par distillation.
- TinyBERT : Jiao et al., TinyBERT: Distilling BERT for Natural Language Understanding (2019). Distillation des couches intermédiaires, données augmentées.
- DeiT : Touvron et al., Training data-efficient image transformers & distillation through attention (2020). Distillation d'un transformer de vision par token dédié.
- GKD : Agarwal et al., On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes (2023). Distillation on-policy sur les propres générations de l'élève.
- MiniLLM : Gu et al., MiniLLM: On-Policy Distillation of Large Language Models (2023). Distillation par KL inverse pour les LLM génératifs.
- Minitron : Muralidharan et al., Compact Language Models via Pruning and Knowledge Distillation (2024). Élagage puis distillation pour produire des modèles plus petits.
Dans le dépôt
Exemple, résultats mesurés et commandes : Distillation : exemple de code.