Pilotage par activations
Repérer la direction d'un concept dans les activations internes du modèle, puis l'ajouter pendant la génération (sans toucher aux poids) ou la retirer des poids (sans entraînement).
- Identifiant : EDIT11
- Catégorie : EDIT · Chirurgie du modèle
- Regroupe : Steering vectors (ActAdd, CAA), abliteration
- Modèles concernés : LLM décodeurs (tout flux résiduel) ; diffusion (concept sliders)
- Calcul : 1 GPU (inférence)
- Temps : minutes
- Modèle :
poids nécessaires - Données : préférences A > B
- GPU local 12 Go (exemple de code) : ✅ ≤ 7B
- Code :
11-pilotage-activations/
Principe
Dans un transformer, le flux résiduel accumule les représentations couche après couche. Beaucoup de concepts (sentiment, formalité, langue, vérité, refus…) y sont codés approximativement par une direction linéaire.
- Extraire la direction : on passe des paires de textes contrastés (positif / négatif) et on prend, à une couche donnée, la différence des activations moyennes au dernier token :
d = moyenne(h⁺) - moyenne(h⁻). - Deux usages :
mode: vecteur: un crochet ajouteα·dà la sortie de la couche à chaque token généré. α > 0 pousse vers le concept, α < 0 vers son contraire. Réversible, réglable à la volée, sans aucune modification des poids.mode: ablation: on projette la direction hors de toutes les matrices qui écrivent dans le flux résiduel (W ← (I - d̂d̂ᵀ)Wpouro_proj,down_projet les embeddings). Le modèle ne peut plus représenter ce concept. Le checkpoint obtenu est normal : il se sert avec vLLM, llama.cpp, etc.
L'exemple utilise le sentiment, mesuré par un classifieur externe (DistilBERT SST-2) sur deux types de consignes : neutres, et demandant un texte négatif.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur | LLaMA, Qwen, Mistral, Gemma, Phi, GPT-2 | ✅ cas principal | run.py trouve les couches automatiquement (commun/modeles.py:couches_decodeur) |
| MoE | Mixtral 8x7B, Qwen3-30B-A3B, DeepSeek-V3 | ✅ | Le flux résiduel est partagé : même méthode |
| Multimodal | LLaVA, Qwen-VL | ✅ | Pilotage de la partie langage |
| Encodeurs | BERT | ⚠️ | Directions extractibles (sondes linéaires), pilotage moins utile sans génération |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ | Directions dans l'espace des embeddings de texte ou dans l'UNet (« concept sliders ») |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ | Pas d'accès aux activations |
Quand l'utiliser
- ✅ Ajuster un trait de style (ton, formalité, verbosité, langue) sans données d'entraînement ni GPU d'entraînement.
- ✅ Recherche et interprétabilité : vérifier qu'un concept est représenté linéairement, et où.
- ✅ Retirer de façon permanente un comportement indésirable très ciblé (ablation), quand l'entraînement est impossible.
- ⚠️ Un α trop grand dégrade la cohérence : il faut chercher le bon compromis.
- ❌ Pour des capacités nouvelles ou des connaissances : le pilotage réoriente ce qui existe déjà, il n'ajoute rien.
Pièges
- Choix de la couche : trop tôt, rien ne se passe ; trop tard, le texte se dégrade. Les couches centrales sont le bon point de départ.
- Paires contrastives : elles doivent ne différer que par le concept, sinon la direction capture autre chose (longueur, sujet).
- α : trouver le compromis effet / cohérence. Mesurer aussi une perplexité ou une tâche de contrôle.
- Ablation : très ciblée, mais irréversible sur le checkpoint. Garder l'original.
- Usage : la même technique sert à retirer des garde-fous de sécurité. Elle est présentée ici sur un concept neutre (le sentiment).
Références
- ActAdd : Turner et al., Steering Language Models With Activation Engineering (2023). Ajouter une différence d'activations pour orienter la génération.
- CAA : Panickssery et al., Steering Llama 2 via Contrastive Activation Addition (2023). Vecteurs de pilotage moyennés sur des paires contrastées.
- RepE : Zou et al., Representation Engineering: A Top-Down Approach to AI Transparency (2023). Lire et contrôler des concepts dans les représentations.
- Direction du refus : Arditi et al., Refusal in Language Models Is Mediated by a Single Direction (2024). Un comportement porté par une seule direction, et son ablation.
- Scaling Monosemanticity : Templeton et al., Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet (2024). Features interprétables par autoencodeur creux, et pilotage par features.
- Concept Sliders : Gandikota et al., Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models (2023). Curseurs de concepts pour les modèles de diffusion.
Dans le dépôt
Exemple, résultats mesurés et commandes : Pilotage par activations : exemple de code.