AmeliorIA

tekio.org

Fusion de modèles

Additionner intelligemment les poids de plusieurs fine-tunes d'un même modèle pour obtenir un modèle qui cumule leurs compétences, sans entraînement ni GPU.

  • Identifiant : EDIT08
  • Catégorie : EDIT · Chirurgie du modèle
  • Regroupe : Model soups, SLERP, task arithmetic, TIES, DARE ; mergekit, fusion évolutionnaire
  • Modèles concernés : Fine-tunes d'une même base : LLM, LoRA, CLIP/ViT, diffusion
  • Calcul : CPU ou API
  • Temps : minutes
  • Modèle : poids nécessaires
  • Données : — aucune donnée
  • GPU local 12 Go (exemple de code) : ✅ CPU/RAM
  • Code : 08-fusion-modeles/

Principe

Deux fine-tunes d'un même modèle de base restent dans le même « bassin » de l'espace des poids. Leur combinaison donne souvent un modèle qui fonctionne, et qui hérite des deux.

On appelle vecteur de tâche la différence τ_i = θ_i - θ_base : ce que le fine-tuning i a ajouté.

methode Formule / idée Base requise
lineaire Moyenne pondérée des poids (model soup). Idéal pour des variantes d'un même entraînement non
slerp Interpolation sphérique entre deux modèles. Garde mieux la norme des poids non
arithmetique_taches θ = base + Σ λ_i · τ_i. On peut aussi soustraire une tâche (λ < 0) pour retirer un comportement oui
ties 1) garder les coordonnées de plus forte magnitude de chaque τ_i ; 2) élire un signe par coordonnée ; 3) moyenner seulement les valeurs d'accord. Réduit les interférences oui
dare_ties Comme TIES, mais on abandonne les coordonnées au hasard et on rééchelonne (1/densité) oui
dare_lineaire DARE puis arithmétique des tâches oui
évolutionnaire Un algorithme évolutionnaire cherche les poids et densités par couche qui maximisent un score (voir l'infra) oui

Les implémentations sont dans fusion.py : environ 100 lignes lisibles, en PyTorch pur, applicables tenseur par tenseur à n'importe quelle architecture.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur : fine-tunes d'un même modèle de base Llama 3, Qwen2.5, Mistral 7B, Gemma 2 ✅ cas principal Mêmes formes de tenseurs. Les fusions entre familles différentes (Llama + Qwen) ne marchent pas
Adaptateurs LoRA d'une même base — ✅ peft : model.add_weighted_adapter([...], weights, combination_type="ties")
Encodeurs, ViT, CLIP, Whisper BERT, ViT, CLIP, Whisper ✅ Model soups sur CLIP/ViT (papier d'origine), WiSE-FT (fusion modèle fine-tuné / zéro-shot)
Diffusion Stable Diffusion, SDXL ✅ très courant Fusion de checkpoints et de LoRA de style (outils : Automatic1111, ComfyUI, sd-mecha)
Modèles de tailles ou d'architectures différentes — ❌ Il faut passer par la distillation (SIGN06)
Modèle fermé via API GPT-4o, Claude, Gemini ❌ Pas d'accès aux poids

Quand l'utiliser

  • ✅ Plusieurs fine-tunes spécialisés et un seul modèle à déployer : combiner code, maths et instruction.
  • ✅ Récupérer des capacités générales perdues pendant un fine-tuning : fusionner le modèle spécialisé avec l'instruct d'origine (WiSE-FT, contre l'oubli).
  • ✅ Retirer un comportement : soustraire un vecteur de tâche.
  • ✅ Budget GPU nul : quelques minutes de CPU.
  • ⚠️ Toujours évaluer : une fusion peut dégrader silencieusement une compétence.

Pièges

  • Base commune obligatoire pour les méthodes à vecteurs de tâche : vérifier l'ascendance des modèles. Le nom ne suffit pas : Qwen2.5-Math-1.5B-Instruct et Qwen2.5-Coder-1.5B-Instruct viennent de Qwen2.5-1.5B, mais après des centaines de milliards de tokens de pré-entraînement continu (et un rope_theta différent pour Math). Leurs poids sont à 100 % et 61 % de la base, contre 0,8 % pour Qwen2.5-1.5B-Instruct : leur fusion avec l'Instruct détruit le modèle. run.py affiche cet écart relatif pour chaque source (ecart_relatif_a_la_base).
  • Vocabulaire étendu : les embeddings de tailles différentes ne se fusionnent pas. Ici, ceux du premier modèle sont conservés.
  • Chat templates différents : choisir explicitement le tokenizer (tokenizer).
  • Contamination des classements : beaucoup de fusions « record » surapprennent les benchmarks. Évaluer sur ses propres tâches.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Fusion de modèles : exemple de code.