Élagage
Retirer les poids, neurones ou couches qui contribuent le moins, puis récupérer la qualité par un court entraînement, idéalement une distillation depuis le modèle d'origine.
- Identifiant : FORM16
- Catégorie : FORM · Remodeler : étendre ou compresser
- Regroupe : Magnitude, Wanda, 2:4, suppression de couches, réduction de largeur + cicatrisation
- Modèles concernés : LLM ; encodeurs ; CNN/ViT ; diffusion
- Calcul : plusieurs GPU
- Temps : heures
- Modèle :
poids nécessaires - Données : texte brut, documents
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ⚠️ ≤ 0,5B avec cicatrisation · ☁️
- Code :
16-elagage/
Principe
methode |
Ce qui est retiré | Gain réel |
|---|---|---|
magnitude |
Les poids de plus petite valeur absolue, dans chaque ligne | Aucun gain de vitesse sans moteur sparse. Référence de comparaison |
wanda |
Score ` | W_ij |
2:4 |
Dans chaque groupe de 4 poids, les 2 moins importants (score Wanda) | Accélération réelle ~1,3 à 1,6× sur GPU Ampere et plus récents (noyaux 2:4, vLLM) |
couches |
Les blocs dont la sortie ressemble le plus à l'entrée (Block Influence = 1 - cos) | Modèle plus petit et plus rapide, proportionnellement |
largeur |
Les neurones MLP les moins activés : gate/up perdent des lignes, down des colonnes |
Modèle plus petit et plus rapide |
La cicatrisation (cicatrisation.mode) est ce qui rend l'élagage agressif utilisable :
lm: pré-entraînement continu sur du texte général ;distillation: le modèle élagué imite la distribution de sortie de l'original (recette Minitron de NVIDIA). Plus efficace quelmà nombre de tokens égal.
Pour un modèle de conversation, la cicatrisation lit aussi des conversations : des demandes générales et les réponses que le modèle d'origine y a faites avant l'élagage. Le texte brut seul n'exerce pas ce qu'on veut récupérer : suivre une consigne et répondre dans le format appris.
Pendant la cicatrisation d'un élagage non structuré, un masque booléen (1 octet par poids) est réappliqué après chaque pas d'optimisation (GarderMasques) : les zéros restent des zéros.
Chaque étape est mesurée (origine → élagué → cicatrisé) : paramètres, sparsité, tokens/s, perplexité générale, exactitude sur la tâche.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM LLaMA / Qwen / Mistral / SmolLM | Llama 3, Qwen2.5, Mistral 7B, SmolLM2 | ✅ cas principal | elagage.py : noms q/k/v/o_proj, gate/up/down_proj |
| Autres LLM | GPT-2, Phi, Falcon | ⚠️ | Adapter NOMS_LINEAIRES et les attributs MLP |
| MoE | Mixtral 8x7B, Qwen3-30B-A3B, DeepSeek-V3 | ✅ | Élaguer des experts entiers (fréquence de routage) : très efficace |
| Encodeurs | BERT | ✅ très étudié | Élagage de têtes d'attention, movement pruning, nn_pruning |
| Vision | ResNet, ViT | ✅ | Élagage de filtres / canaux (torch-pruning), tokens (ToMe) |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ | Suppression de blocs de l'UNet + distillation (BK-SDM, SSD-1B) |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ |
Quand l'utiliser
- ✅ Produire une famille de modèles plus petits à partir d'un grand, avec distillation. Moins cher qu'un pré-entraînement : Llama-3.1-Minitron 4B.
- ✅ Accélérer l'inférence avec 2:4 ou l'élagage structuré.
- ⚠️ Non structuré sans moteur sparse : aucun gain de mémoire ni de vitesse en PyTorch standard. Intérêt surtout pour la compression combinée à la quantification.
- ❌ Élagage structuré agressif sans budget de cicatrisation : la qualité s'effondre.
Pièges
- Mesurer le vrai gain : 50 % de zéros non structurés ne rendent ni plus petit ni plus rapide sans format sparse.
- Couches retirées : les premières et la dernière couche sont presque toujours critiques. Le score d'influence les protège en général.
- Élagage après quantification (ou l'inverse) : l'ordre compte. L'usage courant est d'élaguer, cicatriser, puis quantifier.
- Cache KV et
layer_idx: après suppression de couches, les indices doivent être renumérotés. C'est fait danssupprimer_couches.
Références
- Élagage par magnitude : Han et al., Learning both Weights and Connections for Efficient Neural Networks (2015). Retirer les poids de faible valeur absolue, puis réentraîner.
- SparseGPT : Frantar & Alistarh, SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (2023). Élagage en une passe avec reconstruction des poids.
- Sparsité 2:4 : Mishra et al., Accelerating Sparse Deep Neural Networks (2021). Motif 2 sur 4 accéléré par le matériel.
- ShortGPT : Men et al., ShortGPT: Layers in Large Language Models are More Redundant Than You Expect (2024). Retirer les couches à faible influence sur le flux résiduel.
- Couches profondes : Gromov et al., The Unreasonable Ineffectiveness of the Deeper Layers (2024). Beaucoup de couches profondes se retirent avec peu de perte.
- LLM-Pruner : Ma et al., LLM-Pruner: On the Structural Pruning of Large Language Models (2023). Élagage structuré de LLM et récupération par LoRA.
- Minitron : Muralidharan et al., Compact Language Models via Pruning and Knowledge Distillation (2024). Élagage en largeur et profondeur puis distillation.
- BK-SDM : Kim et al., BK-SDM: A Lightweight, Fast, and Cheap Version of Stable Diffusion (2023). Retirer des blocs d'un UNet de diffusion puis distiller.
Dans le dépôt
Exemple, résultats mesurés et commandes : Élagage : exemple de code.