AmeliorIA

tekio.org

Cas : sans réentraîner

Que veut-on obtenir ?Réunir plusieursmodèlesIssus du mêmemodèle de base ?OuiEDIT08 · FusionCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesune compétence se perdEntraîner un modèlesur toutes les donnéesNonFusion impossible :servir plusieurs modèlesChanger un trait(ton, style)EDIT11 · PilotageCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairespréférences A > B instableSIGN04 · DPOCalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairespréférences A > B
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Ces deux méthodes changent le comportement d'un modèle sans boucle d'entraînement : pas de données annotées, pas d'heures de GPU. Elles répondent à deux besoins différents.

Réunir plusieurs modèles spécialisés en un seul

La situation. On a affiné le même modèle de base plusieurs fois, chaque fois pour un usage : un modèle pour le support client, un pour rédiger du code, un pour le français juridique. On voudrait un seul modèle qui sache tout faire, plutôt que d'en servir trois.

La méthode : la fusion. Comme ces modèles partent des mêmes poids, chacun n'est qu'un petit déplacement par rapport à la base. La fusion additionne ces déplacements, en gardant les plus importants et en résolvant les conflits entre eux (méthodes TIES, DARE). Elle prend quelques minutes, tourne sur CPU, et ne demande aucune donnée.

Les limites.

  • Les modèles doivent venir du même modèle de base : deux modèles d'origines différentes n'ont pas des poids comparables. Dans ce cas, la fusion est impossible et l'on sert les modèles séparément, ou l'on route chaque demande vers le bon.
  • Si une compétence se perd dans le modèle fusionné, les spécialisations se gênent : il faut entraîner un seul modèle sur l'ensemble des données d'origine.

Changer un trait du modèle

La situation. Le modèle fait ce qu'on attend, mais on voudrait ajuster sa manière de répondre : plus formel, plus positif, plus prudent, plus concis. On n'a pas de jeu d'exemples annotés pour l'entraîner.

La méthode : le pilotage par activations. On écrit quelques dizaines de paires de textes qui ne diffèrent que par ce trait (« Merci pour votre message, nous revenons vers vous. » / « Ouais, on verra. »). La différence moyenne des activations du modèle entre les deux côtés donne une direction ; on l'ajoute pendant la génération, avec une intensité réglable, sans toucher aux poids.

Les limites. Trop forte, la direction dégrade le texte ou déforme le sens ; trop faible, elle ne change rien. Si l'effet est instable, ou si l'on veut un changement durable inscrit dans le modèle, on apprend le trait pour de bon par DPO, sur ces mêmes paires présentées comme « réponse préférée / réponse rejetée ».