AmeliorIA

tekio.org

Distillation

Un gros modèle « enseignant » transmet son comportement à un petit modèle « élève », plus rapide et moins cher à servir.

  • Identifiant : SIGN06
  • Catégorie : SIGN · Apprendre à partir d'un signal
  • Regroupe : Logits (KD), séquences, on-policy (GKD) ; variante classifieur encodeur
  • Modèles concernés : LLM (même tokenizer pour logits), encodeurs, vision, diffusion
  • Calcul : plusieurs GPU
  • Temps : jours
  • Modèle : poids nécessaires
  • Données : texte brut, documents
  • GPU local 12 Go (exemple de code) : ✅ petits couples · ☁️ 70B → 8B
  • Code : 06-distillation/

Principe

L'élève n'apprend plus seulement la bonne réponse (un token cible), mais ce que l'enseignant sait de toutes les réponses possibles. Trois modes (--set mode=...), du plus simple au plus fidèle :

mode Ce que l'élève imite Même tokenizer ? Coût
sequence Les réponses rédigées par l'enseignant, filtrées quand elles sont vérifiables, puis SFT classique non Génération par l'enseignant, puis un SFT
logits La distribution complète de l'enseignant à chaque token (KL à température T), sur des réponses fixes oui Enseignant et élève en mémoire en même temps
on_policy La distribution de l'enseignant sur les propres réponses de l'élève (GKD, JSD généralisée) oui Génération par l'élève à chaque pas

Perte du mode logits :

perte = α · T² · KL(softmax(z_enseignant / T) ‖ softmax(z_élève / T))  +  (1 - α) · CE(élève, réponse)

La température T > 1 adoucit les distributions : l'élève apprend aussi quelles mauvaises réponses sont presque bonnes (« dark knowledge »). Le mode on_policy corrige le principal défaut des deux autres : l'élève, entraîné sur des préfixes écrits par l'enseignant, ne sait pas se rattraper quand il dérive de lui-même à la génération.

Lien avec les données synthétiques (SIGN07) : le mode sequence est une génération filtrée dont le générateur est un modèle plus fort.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur, enseignant et élève de la même famille Llama 3, Qwen2.5, Mistral 7B, Gemma 2 ✅ cas principal run.py : tous les modes (Qwen2.5-1.5B → 0.5B, Llama-3.1-8B → 3.2-1B)
LLM de familles différentes Llama 3 → Qwen2.5 ⚠️ Mode sequence seulement ; les modes à logits demandent le même vocabulaire (ou un alignement de tokenizers, ULD)
Encodeurs / classifieurs BERT, RoBERTa ✅ variantes/encodeur-classification : KD sur les logits de classes, tokenizers différents possibles
Vision ViT, CNN ✅ Même perte sur les logits de classes (DeiT ajoute un token de distillation)
Diffusion Stable Diffusion, SDXL, Flux ✅ Distillation de pas d'échantillonnage (LCM, SDXL-Turbo, consistency models) : moins de pas plutôt que moins de paramètres
Modèle fermé via API GPT-4o, Claude, Gemini ✅ comme enseignant Mode sequence uniquement (pas de logits), en respectant les conditions d'utilisation du fournisseur

Quand l'utiliser

  • ✅ Servir un modèle plus petit avec une qualité proche d'un grand, sur une tâche donnée.
  • ✅ Après un élagage (FORM16) : la distillation est la meilleure cicatrisation.
  • ✅ Transférer un comportement coûteux à obtenir (raisonnement long, format) d'un modèle entraîné par RL vers un petit modèle.
  • ⚠️ L'élève plafonne sous l'enseignant. Un écart de taille trop grand (×20 et plus) apprend moins bien qu'un enseignant intermédiaire.
  • ❌ Si la quantification (FORM15) suffit à faire tenir le modèle : elle ne demande aucun entraînement.

Pièges

  • Tokenizers différents : les modes logits et on_policy n'ont de sens qu'avec le même vocabulaire. Deux modèles d'une même famille peuvent avoir des tailles de matrice arrondies différemment : seules les entrées communes sont comparées.
  • Mémoire : en mode logits, les logits batch × longueur × vocabulaire des deux modèles dominent. Réduire le batch, pas la longueur.
  • Filtrer les séquences : un enseignant qui se trompe transmet ses erreurs. Vérifier quand c'est possible.
  • Style des réponses : entraîner un petit modèle sur des solutions justes mais laconiques lui fait perdre son raisonnement pas à pas (témoin à 0,30 contre 0,41 au départ). Des solutions rédigées par un modèle de la même famille gardent son style.
  • Écart de capacité : un élève trop petit n'absorbe pas la distribution de l'enseignant ; un enseignant intermédiaire aide.
  • Conditions d'utilisation : certains fournisseurs interdisent d'entraîner un modèle concurrent sur leurs sorties.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Distillation : exemple de code.