Désapprentissage
Faire oublier au modèle un ensemble précis de connaissances (données personnelles, contenu sous copyright, savoir dangereux), sans détruire le reste.
- Identifiant : EDIT10
- Catégorie : EDIT · Chirurgie du modèle
- Regroupe : Gradient ascent, gradient difference, NPO, IDK ; TOFU, open-unlearning
- Modèles concernés : LLM ; classifieurs ; diffusion (ESD)
- Calcul : 1 GPU (entraînement)
- Temps : minutes
- Modèle :
poids nécessaires - Données : texte brut, documents
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ✅ ≤ 1B
- Code :
10-desapprentissage/
Principe
On dispose d'un ensemble à oublier (forget set) et d'un ensemble à retenir (retain set). Toutes les méthodes suivent la même boucle : un lot à oublier, éventuellement un lot à retenir, puis une perte combinée. Seule la perte change (--set desapprentissage.methode=...) :
| Méthode | Perte sur l'oubli | Rétention | Comportement |
|---|---|---|---|
gradient_ascent |
-NLL : on monte la perte |
non | Oublie vite, mais s'effondre vite (le modèle finit par tout désapprendre) |
gradient_difference |
-NLL |
+NLL sur le retain set |
Plus stable |
npo |
Perte de type DPO sans réponse préférée : -(2/β)·log σ(-β·log(π/π_ref)) |
optionnelle (retenu: true) |
Bornée : l'oubli ralentit tout seul, pas d'effondrement. Référence actuelle |
idk |
SFT vers « je n'ai pas d'information » | +NLL |
Refus explicite plutôt qu'oubli des poids |
Le protocole suit TOFU : des personnages fictifs sont d'abord appris (implantation), puis on fait oublier 10 % d'entre eux. Comme le modèle ne pouvait pas les connaître avant, on sait exactement ce qui doit disparaître. Cette phase d'implantation est incluse dans run.py.
Mesures :
| Mesure | Rôle |
|---|---|
oubli (exactitude) et nll_oubli |
Doivent respectivement baisser et monter |
retenu et nll_retenu |
Doivent rester stables |
perplexite_generale |
Non-régression sur les connaissances générales |
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur (toutes familles) | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | run.py |
| LLM avec LoRA | Llama 3, Qwen2.5 + adaptateur LoRA | ✅ | Désapprentissage sur adaptateur : réversible, moins destructeur |
| Classifieurs (vision, texte) | BERT, ViT, ResNet | ✅ | Même idée (gradient ascent sur les exemples à oublier, SCRUB, fine-tuning sur le retain set) |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ très étudié | Oublier un style, un concept, une personne : ESD, concept ablation, UCE |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ | Seulement des filtres en entrée et en sortie |
Quand l'utiliser
- ✅ Obligation de retrait d'une donnée (RGPD, droit à l'oubli), contenu sous licence retiré.
- ✅ Réduire des connaissances dangereuses (WMDP : RMU).
- ⚠️ Le désapprentissage approché n'offre aucune garantie formelle : l'information peut revenir par extraction ou par un léger fine-tuning. La seule garantie complète est de réentraîner sans la donnée.
- ⚠️ Si l'objectif est seulement de ne pas dire quelque chose : un filtre ou un refus (
idk) peut suffire.
Pièges
- Effondrement : le gradient ascent sans rétention finit par produire du charabia. Toujours surveiller
retenuet la perplexité générale. - Oubli superficiel : la probabilité baisse sur la formulation exacte, mais une paraphrase ou quelques pas de fine-tuning font revenir l'information. Évaluer avec des paraphrases et des attaques.
- Retain set mal choisi : il doit contenir des connaissances proches de celles à oublier (même domaine), sinon on oublie aussi les voisins.
Références
- TOFU : Maini et al., TOFU: A Task of Fictitious Unlearning for LLMs (2024). Benchmark : oublier des auteurs fictifs appris par fine-tuning.
- NPO : Zhang et al., Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning (2024). Perte bornée de préférence négative, sans effondrement.
- SimNPO : Fan et al., Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning (2024). NPO sans modèle de référence.
- Who's Harry Potter? : Eldan & Russinovich, Who's Harry Potter? Approximate Unlearning in LLMs (2023). Désapprentissage approché d'un corpus.
- WMDP / RMU : Li et al., The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning (2024). Benchmark de savoirs dangereux et méthode RMU.
- MUSE : Shi et al., MUSE: Machine Unlearning Six-Way Evaluation for Language Models (2024). Évaluation du désapprentissage selon six critères.
- ESD : Gandikota et al., Erasing Concepts from Diffusion Models (2023). Effacer un concept d'un modèle de diffusion.
Dans le dépôt
Exemple, résultats mesurés et commandes : Désapprentissage : exemple de code.