AmeliorIA

tekio.org

Élagage

Retirer les poids, neurones ou couches qui contribuent le moins, puis récupérer la qualité par un court entraînement, idéalement une distillation depuis le modèle d'origine.

  • Identifiant : FORM16
  • Catégorie : FORM · Remodeler : étendre ou compresser
  • Regroupe : Magnitude, Wanda, 2:4, suppression de couches, réduction de largeur + cicatrisation
  • Modèles concernés : LLM ; encodeurs ; CNN/ViT ; diffusion
  • Calcul : plusieurs GPU
  • Temps : heures
  • Modèle : poids nécessaires
  • Données : texte brut, documents
  • Contre l'oubli : remélanger du général
  • GPU local 12 Go (exemple de code) : ⚠️ ≤ 0,5B avec cicatrisation · ☁️
  • Code : 16-elagage/

Principe

methode Ce qui est retiré Gain réel
magnitude Les poids de plus petite valeur absolue, dans chaque ligne Aucun gain de vitesse sans moteur sparse. Référence de comparaison
wanda Score ` W_ij
2:4 Dans chaque groupe de 4 poids, les 2 moins importants (score Wanda) Accélération réelle ~1,3 à 1,6× sur GPU Ampere et plus récents (noyaux 2:4, vLLM)
couches Les blocs dont la sortie ressemble le plus à l'entrée (Block Influence = 1 - cos) Modèle plus petit et plus rapide, proportionnellement
largeur Les neurones MLP les moins activés : gate/up perdent des lignes, down des colonnes Modèle plus petit et plus rapide

La cicatrisation (cicatrisation.mode) est ce qui rend l'élagage agressif utilisable :

  • lm : pré-entraînement continu sur du texte général ;
  • distillation : le modèle élagué imite la distribution de sortie de l'original (recette Minitron de NVIDIA). Plus efficace que lm à nombre de tokens égal.

Pour un modèle de conversation, la cicatrisation lit aussi des conversations : des demandes générales et les réponses que le modèle d'origine y a faites avant l'élagage. Le texte brut seul n'exerce pas ce qu'on veut récupérer : suivre une consigne et répondre dans le format appris.

Pendant la cicatrisation d'un élagage non structuré, un masque booléen (1 octet par poids) est réappliqué après chaque pas d'optimisation (GarderMasques) : les zéros restent des zéros.

Chaque étape est mesurée (origine → élagué → cicatrisé) : paramètres, sparsité, tokens/s, perplexité générale, exactitude sur la tâche.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM LLaMA / Qwen / Mistral / SmolLM Llama 3, Qwen2.5, Mistral 7B, SmolLM2 ✅ cas principal elagage.py : noms q/k/v/o_proj, gate/up/down_proj
Autres LLM GPT-2, Phi, Falcon ⚠️ Adapter NOMS_LINEAIRES et les attributs MLP
MoE Mixtral 8x7B, Qwen3-30B-A3B, DeepSeek-V3 ✅ Élaguer des experts entiers (fréquence de routage) : très efficace
Encodeurs BERT ✅ très étudié Élagage de têtes d'attention, movement pruning, nn_pruning
Vision ResNet, ViT ✅ Élagage de filtres / canaux (torch-pruning), tokens (ToMe)
Diffusion Stable Diffusion, SDXL, Flux ✅ Suppression de blocs de l'UNet + distillation (BK-SDM, SSD-1B)
Modèle fermé via API GPT-4o, Claude, Gemini ❌

Quand l'utiliser

  • ✅ Produire une famille de modèles plus petits à partir d'un grand, avec distillation. Moins cher qu'un pré-entraînement : Llama-3.1-Minitron 4B.
  • ✅ Accélérer l'inférence avec 2:4 ou l'élagage structuré.
  • ⚠️ Non structuré sans moteur sparse : aucun gain de mémoire ni de vitesse en PyTorch standard. Intérêt surtout pour la compression combinée à la quantification.
  • ❌ Élagage structuré agressif sans budget de cicatrisation : la qualité s'effondre.

Pièges

  • Mesurer le vrai gain : 50 % de zéros non structurés ne rendent ni plus petit ni plus rapide sans format sparse.
  • Couches retirées : les premières et la dernière couche sont presque toujours critiques. Le score d'influence les protège en général.
  • Élagage après quantification (ou l'inverse) : l'ordre compte. L'usage courant est d'élaguer, cicatriser, puis quantifier.
  • Cache KV et layer_idx : après suppression de couches, les indices doivent être renumérotés. C'est fait dans supprimer_couches.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Élagage : exemple de code.