Fusion de modèles
Additionner intelligemment les poids de plusieurs fine-tunes d'un même modèle pour obtenir un modèle qui cumule leurs compétences, sans entraînement ni GPU.
- Identifiant : EDIT08
- Catégorie : EDIT · Chirurgie du modèle
- Regroupe : Model soups, SLERP, task arithmetic, TIES, DARE ; mergekit, fusion évolutionnaire
- Modèles concernés : Fine-tunes d'une même base : LLM, LoRA, CLIP/ViT, diffusion
- Calcul : CPU ou API
- Temps : minutes
- Modèle :
poids nécessaires - Données : — aucune donnée
- GPU local 12 Go (exemple de code) : ✅ CPU/RAM
- Code :
08-fusion-modeles/
Principe
Deux fine-tunes d'un même modèle de base restent dans le même « bassin » de l'espace des poids. Leur combinaison donne souvent un modèle qui fonctionne, et qui hérite des deux.
On appelle vecteur de tâche la différence τ_i = θ_i - θ_base : ce que le fine-tuning i a ajouté.
methode |
Formule / idée | Base requise |
|---|---|---|
lineaire |
Moyenne pondérée des poids (model soup). Idéal pour des variantes d'un même entraînement | non |
slerp |
Interpolation sphérique entre deux modèles. Garde mieux la norme des poids | non |
arithmetique_taches |
θ = base + Σ λ_i · τ_i. On peut aussi soustraire une tâche (λ < 0) pour retirer un comportement |
oui |
ties |
1) garder les coordonnées de plus forte magnitude de chaque τ_i ; 2) élire un signe par coordonnée ; 3) moyenner seulement les valeurs d'accord. Réduit les interférences |
oui |
dare_ties |
Comme TIES, mais on abandonne les coordonnées au hasard et on rééchelonne (1/densité) |
oui |
dare_lineaire |
DARE puis arithmétique des tâches | oui |
| évolutionnaire | Un algorithme évolutionnaire cherche les poids et densités par couche qui maximisent un score (voir l'infra) | oui |
Les implémentations sont dans fusion.py : environ 100 lignes lisibles, en PyTorch pur, applicables tenseur par tenseur à n'importe quelle architecture.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur : fine-tunes d'un même modèle de base | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | Mêmes formes de tenseurs. Les fusions entre familles différentes (Llama + Qwen) ne marchent pas |
| Adaptateurs LoRA d'une même base | — | ✅ | peft : model.add_weighted_adapter([...], weights, combination_type="ties") |
| Encodeurs, ViT, CLIP, Whisper | BERT, ViT, CLIP, Whisper | ✅ | Model soups sur CLIP/ViT (papier d'origine), WiSE-FT (fusion modèle fine-tuné / zéro-shot) |
| Diffusion | Stable Diffusion, SDXL | ✅ très courant | Fusion de checkpoints et de LoRA de style (outils : Automatic1111, ComfyUI, sd-mecha) |
| Modèles de tailles ou d'architectures différentes | — | ❌ | Il faut passer par la distillation (SIGN06) |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ | Pas d'accès aux poids |
Quand l'utiliser
- ✅ Plusieurs fine-tunes spécialisés et un seul modèle à déployer : combiner code, maths et instruction.
- ✅ Récupérer des capacités générales perdues pendant un fine-tuning : fusionner le modèle spécialisé avec l'instruct d'origine (WiSE-FT, contre l'oubli).
- ✅ Retirer un comportement : soustraire un vecteur de tâche.
- ✅ Budget GPU nul : quelques minutes de CPU.
- ⚠️ Toujours évaluer : une fusion peut dégrader silencieusement une compétence.
Pièges
- Base commune obligatoire pour les méthodes à vecteurs de tâche : vérifier l'ascendance des modèles. Le nom ne suffit pas : Qwen2.5-Math-1.5B-Instruct et Qwen2.5-Coder-1.5B-Instruct viennent de Qwen2.5-1.5B, mais après des centaines de milliards de tokens de pré-entraînement continu (et un
rope_thetadifférent pour Math). Leurs poids sont à 100 % et 61 % de la base, contre 0,8 % pour Qwen2.5-1.5B-Instruct : leur fusion avec l'Instruct détruit le modèle.run.pyaffiche cet écart relatif pour chaque source (ecart_relatif_a_la_base). - Vocabulaire étendu : les embeddings de tailles différentes ne se fusionnent pas. Ici, ceux du premier modèle sont conservés.
- Chat templates différents : choisir explicitement le tokenizer (
tokenizer). - Contamination des classements : beaucoup de fusions « record » surapprennent les benchmarks. Évaluer sur ses propres tâches.
Références
- Model soups : Wortsman et al., Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time (2022). Moyenne des poids de plusieurs fine-tunes.
- WiSE-FT : Wortsman et al., Robust fine-tuning of zero-shot models (2021). Interpoler fine-tune et modèle d'origine pour garder la robustesse.
- Arithmétique des tâches : Ilharco et al., Editing Models with Task Arithmetic (2022). Additionner ou soustraire des vecteurs de tâche.
- TIES-Merging : Yadav et al., TIES-Merging: Resolving Interference When Merging Models (2023). Élaguer, élire le signe, fusionner les coordonnées d'accord.
- DARE : Yu et al., Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch (2023). Abandon aléatoire du vecteur de tâche et remise à l'échelle.
- Fusion évolutionnaire : Akiba et al., Evolutionary Optimization of Model Merging Recipes (2024). Chercher la recette de fusion par algorithme évolutionnaire.
- mergekit : Goddard et al., Arcee's MergeKit: A Toolkit for Merging Large Language Models (2024). Outil de fusion de grands modèles.
- SLERP : Shoemake, Animating Rotation with Quaternion Curves (SIGGRAPH 1985). Interpolation sphérique, reprise pour les poids.
Dans le dépôt
Exemple, résultats mesurés et commandes : Fusion de modèles : exemple de code.