AmeliorIA

tekio.org

Cas : ses connaissances

Que faut-il changerdans ses connaissances ?AjouterEXEC18 · RAGCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibletexte brut, documents suffitGarder le RAG,réindexer au besoinne suffit pasDATA01 · Pré-entraînementCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général puisDATA02 · SFTCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés remélanger du général CorrigerQuelques faitsprécis ?OuiEDIT09 · ÉditionCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés Non, beaucoupDATA03 · LoRA, QLoRACalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés RetirerEDIT10 · DésapprentissageCalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général oubli incompletFiltrer en sortie, ouréentraîner sans
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

La première question est la nature du changement : apporter un savoir que le modèle n'a pas, rectifier ce qu'il croit savoir, ou lui faire oublier quelque chose.

Ajouter des connaissances

On commence toujours par le RAG : les documents restent hors du modèle, on les cherche au moment de répondre et on les place dans le prompt. Rien n'est entraîné, la mise à jour se fait en réindexant, et la réponse peut citer ses sources. C'est le bon choix pour des données privées, volumineuses ou qui changent.

Le RAG ne suffit pas quand la recherche ne trouve pas le bon passage, quand il faut raisonner sur l'ensemble du corpus plutôt que sur trois extraits, ou quand le coût d'une recherche à chaque question est trop élevé. On fait alors entrer le savoir dans les poids par un pré-entraînement continu sur le corpus, mélangé à du texte général pour limiter l'oubli. Ce pré-entraînement donne au modèle les connaissances mais pas l'habitude de s'en servir pour répondre : il est suivi d'un SFT sur des questions-réponses portant sur ce savoir.

Corriger des connaissances

Pour quelques faits précis (un nom, une date, un rattachement), l'édition de connaissances modifie directement l'endroit du modèle qui stocke le fait, en quelques secondes, sans toucher au reste. Elle ne tient pas l'échelle : au-delà de quelques dizaines de faits, les éditions se gênent. Pour beaucoup de corrections, on entraîne une LoRA sur des exemples corrigés.

Retirer des connaissances

Le désapprentissage pousse le modèle à ne plus produire un savoir (donnée personnelle, contenu protégé) tout en préservant le reste, mesuré sur un jeu à garder. L'oubli reste souvent incomplet : le savoir peut ressortir sous une autre formulation. On ajoute alors un filtre en entrée et en sortie, et seul un réentraînement sans les données concernées garantit leur absence.