AmeliorIA

tekio.org

Croissance d'architecture

Agrandir un modèle déjà entraîné (plus de couches, ou des experts) puis le « cicatriser » par un entraînement continu. Beaucoup moins cher que de pré-entraîner le grand modèle de zéro.

  • Identifiant : FORM14
  • Catégorie : FORM · Remodeler : étendre ou compresser
  • Regroupe : Depth up-scaling (SOLAR), block expansion (LLaMA Pro), upcycling MoE
  • Modèles concernés : LLM famille LLaMA/Mistral ; encodeurs, ViT
  • Calcul : plusieurs GPU
  • Temps : jours
  • Modèle : poids nécessaires
  • Données : texte brut, documents
  • Contre l'oubli : remélanger du général
  • GPU local 12 Go (exemple de code) : ⚠️ transformation ✅, cicatrisation ☁️
  • Code : 14-croissance-architecture/

Principe

On réutilise les poids existants comme point de départ d'une architecture plus grande. Les trois méthodes suivent le même déroulé :

transformer l'architecture  ->  mesurer l'effet immédiat  ->  pré-entraînement continu  ->  remesurer
methode Transformation État juste après Ce qu'on entraîne
profondeur (SOLAR) n couches → [0, n-m) + [m, n) : 2(n-m) couches, les couches centrales dupliquées se chevauchent Dégradé (couture au milieu), récupération rapide Tout
expansion_blocs (LLaMA Pro) Après chaque groupe de k couches, une copie dont o_proj et down_proj sont à zéro : la couche est une identité Strictement identique à l'original (ecart_max_logits_vs_origine ≈ 0) Seulement les nouvelles couches : les connaissances d'origine sont préservées
moe (sparse upcycling) Chaque MLP dense devient E experts identiques + un routeur top-k (LLaMA → Mixtral) Identique à l'original (experts égaux, poids du routeur normalisés) Tout. Les experts se différencient pendant l'entraînement

L'intérêt : plus de capacité (profondeur) ou plus de paramètres pour un coût d'inférence presque constant (MoE top-2 sur E experts), en partant d'un modèle qui sait déjà beaucoup de choses.

Le rapport contient :

  • les paramètres, ceux qui sont entraînés et le nombre de couches ;
  • deux perplexités à chaque étape, sur des textes jamais vus : celle du domaine à apprendre et celle de l'anglais général, qu'on ne doit pas perdre ;
  • l'écart maximal de logits avec l'original (vérification des transformations censées préserver la fonction) ;
  • les courbes des deux perplexités pendant l'entraînement, et la comparaison avec le témoin à niveau égal dans le domaine.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM famille LLaMA / Mistral / SmolLM (sans biais) Llama 3, Mistral 7B, SmolLM2 ✅ cas principal croissance.py : les trois méthodes
Qwen2, Gemma, Phi Qwen2, Gemma, Phi-3 ⚠️ profondeur et expansion_blocs fonctionnent si les noms de modules sont les mêmes. moe : la cible est l'équivalent MoE de la famille (Qwen2 → Qwen2-MoE, avec biais d'attention)
Encodeurs / ViT BERT, ViT ✅ Principe identique : empilement (stacking de BERT), expansion identité
Vision / multimodal Qwen2.5-VL, LLaVA, Idefics ✅ Upcycling MoE de ViT (V-MoE) et de VLM (MoE-LLaVA)
Diffusion Stable Diffusion, SDXL, Flux ⚠️ Rare, mais des DiT MoE existent
Modèle fermé via API GPT-4o, Claude, Gemini ❌

Quand l'utiliser

  • ✅ Obtenir un modèle plus capable qu'un checkpoint existant sans budget de pré-entraînement complet.
  • ✅ expansion_blocs : ajouter un domaine (code, médecine) en préservant les capacités d'origine.
  • ✅ moe : augmenter la capacité à coût d'inférence quasi constant.
  • ⚠️ La cicatrisation reste un pré-entraînement continu conséquent : milliards de tokens pour des modèles de 7B et plus.
  • ❌ Sans budget d'entraînement : le modèle transformé n'est pas meilleur que l'original (profondeur est même pire).

Pièges

  • Indices de couche : après duplication, layer_idx doit être renuméroté, sinon le cache KV est corrompu à la génération. C'est fait dans _renumeroter.
  • SOLAR sans cicatrisation : perplexité nettement dégradée. C'est normal.
  • MoE : sans perte auxiliaire d'équilibrage (router_aux_loss_coef), le routeur envoie tout vers 1 ou 2 experts. Des experts identiques mettent du temps à se différencier (bruit, données variées).
  • Mémoire : un MoE 4 experts pèse ~3 fois le dense (les MLP dominent). L'inférence active seulement top-k experts, mais tous doivent être chargés.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Croissance d'architecture : exemple de code.