Croissance d'architecture
Agrandir un modèle déjà entraîné (plus de couches, ou des experts) puis le « cicatriser » par un entraînement continu. Beaucoup moins cher que de pré-entraîner le grand modèle de zéro.
- Identifiant : FORM14
- Catégorie : FORM · Remodeler : étendre ou compresser
- Regroupe : Depth up-scaling (SOLAR), block expansion (LLaMA Pro), upcycling MoE
- Modèles concernés : LLM famille LLaMA/Mistral ; encodeurs, ViT
- Calcul : plusieurs GPU
- Temps : jours
- Modèle :
poids nécessaires - Données : texte brut, documents
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ⚠️ transformation ✅, cicatrisation ☁️
- Code :
14-croissance-architecture/
Principe
On réutilise les poids existants comme point de départ d'une architecture plus grande. Les trois méthodes suivent le même déroulé :
transformer l'architecture -> mesurer l'effet immédiat -> pré-entraînement continu -> remesurer
methode |
Transformation | État juste après | Ce qu'on entraîne |
|---|---|---|---|
profondeur (SOLAR) |
n couches → [0, n-m) + [m, n) : 2(n-m) couches, les couches centrales dupliquées se chevauchent |
Dégradé (couture au milieu), récupération rapide | Tout |
expansion_blocs (LLaMA Pro) |
Après chaque groupe de k couches, une copie dont o_proj et down_proj sont à zéro : la couche est une identité |
Strictement identique à l'original (ecart_max_logits_vs_origine ≈ 0) |
Seulement les nouvelles couches : les connaissances d'origine sont préservées |
moe (sparse upcycling) |
Chaque MLP dense devient E experts identiques + un routeur top-k (LLaMA → Mixtral) | Identique à l'original (experts égaux, poids du routeur normalisés) | Tout. Les experts se différencient pendant l'entraînement |
L'intérêt : plus de capacité (profondeur) ou plus de paramètres pour un coût d'inférence presque constant (MoE top-2 sur E experts), en partant d'un modèle qui sait déjà beaucoup de choses.
Le rapport contient :
- les paramètres, ceux qui sont entraînés et le nombre de couches ;
- deux perplexités à chaque étape, sur des textes jamais vus : celle du domaine à apprendre et celle de l'anglais général, qu'on ne doit pas perdre ;
- l'écart maximal de logits avec l'original (vérification des transformations censées préserver la fonction) ;
- les courbes des deux perplexités pendant l'entraînement, et la comparaison avec le témoin à niveau égal dans le domaine.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM famille LLaMA / Mistral / SmolLM (sans biais) | Llama 3, Mistral 7B, SmolLM2 | ✅ cas principal | croissance.py : les trois méthodes |
| Qwen2, Gemma, Phi | Qwen2, Gemma, Phi-3 | ⚠️ | profondeur et expansion_blocs fonctionnent si les noms de modules sont les mêmes. moe : la cible est l'équivalent MoE de la famille (Qwen2 → Qwen2-MoE, avec biais d'attention) |
| Encodeurs / ViT | BERT, ViT | ✅ | Principe identique : empilement (stacking de BERT), expansion identité |
| Vision / multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | Upcycling MoE de ViT (V-MoE) et de VLM (MoE-LLaVA) |
| Diffusion | Stable Diffusion, SDXL, Flux | ⚠️ | Rare, mais des DiT MoE existent |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ |
Quand l'utiliser
- ✅ Obtenir un modèle plus capable qu'un checkpoint existant sans budget de pré-entraînement complet.
- ✅
expansion_blocs: ajouter un domaine (code, médecine) en préservant les capacités d'origine. - ✅
moe: augmenter la capacité à coût d'inférence quasi constant. - ⚠️ La cicatrisation reste un pré-entraînement continu conséquent : milliards de tokens pour des modèles de 7B et plus.
- ❌ Sans budget d'entraînement : le modèle transformé n'est pas meilleur que l'original (
profondeurest même pire).
Pièges
- Indices de couche : après duplication,
layer_idxdoit être renuméroté, sinon le cache KV est corrompu à la génération. C'est fait dans_renumeroter. - SOLAR sans cicatrisation : perplexité nettement dégradée. C'est normal.
- MoE : sans perte auxiliaire d'équilibrage (
router_aux_loss_coef), le routeur envoie tout vers 1 ou 2 experts. Des experts identiques mettent du temps à se différencier (bruit, données variées). - Mémoire : un MoE 4 experts pèse ~3 fois le dense (les MLP dominent). L'inférence active seulement top-k experts, mais tous doivent être chargés.
Références
- Empilement progressif : Gong et al., Efficient Training of BERT by Progressively Stacking (ICML 2019). Doubler la profondeur en copiant les couches entraînées.
- SOLAR (depth up-scaling) : Kim et al., SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling (2023). Dupliquer et coudre des couches, puis poursuivre l'entraînement.
- LLaMA Pro : Wu et al., LLaMA Pro: Progressive LLaMA with Block Expansion (2024). Insérer des blocs identité, seuls entraînés.
- Sparse upcycling : Komatsuzaki et al., Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints (2022). Transformer un modèle dense en MoE en copiant les MLP.
- Mixtral : Jiang et al., Mixtral of Experts (2024). Architecture MoE cible (8 experts, top-2).
- Upcycling de LLM : He et al., Upcycling Large Language Models into Mixture of Experts (2024). Recette d'upcycling à grande échelle.
- V-MoE : Riquelme et al., Scaling Vision with Sparse Mixture of Experts (2021). Mixture d'experts pour la vision.
- MoE-LLaVA : Lin et al., MoE-LLaVA: Mixture of Experts for Large Vision-Language Models (2024). Mixture d'experts pour les modèles vision-langage.
Dans le dépôt
Exemple, résultats mesurés et commandes : Croissance d'architecture : exemple de code.