AmeliorIA

tekio.org

Cas : tâche, format ou style

Que sait-on fournircomme exemples ?Quelques-unsEXEC17 · PromptCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possiblene suffit pasAnnoter des centainesd'exemples, puis LoRADes centainesDATA03 · LoRA, QLoRACalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés plafonneDATA02 · SFTCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés remélanger du général Jugements A > BSIGN04 · DPOCalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairespréférences A > B un programme noteSIGN05 · RLCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

La question décisive est ce qu'on sait fournir pour montrer ce qu'on attend : quelques exemples, des centaines, ou seulement des jugements entre deux réponses.

Quelques exemples : le prompt

Une consigne précise et quelques exemples dans le prompt suffisent souvent à fixer un format, un ton ou une tâche simple. Rien n'est entraîné, et la méthode marche avec un modèle fermé. Si le résultat ne suffit pas, il faut annoter des centaines d'exemples et passer à l'entraînement.

Des centaines d'exemples : LoRA, puis SFT complet

Avec quelques centaines à quelques milliers d'exemples annotés, une LoRA apprend la tâche en n'entraînant qu'un petit module : peu de mémoire, peu de temps, peu d'oubli. Elle plafonne quand la tâche demande un changement profond du modèle ; le SFT complet, qui entraîne tous les poids, va alors plus loin, au prix de plusieurs GPU et d'un mélange de données générales pour limiter l'oubli.

Seulement des jugements : DPO, puis RL

Quand on sait dire laquelle de deux réponses est la meilleure sans savoir écrire la bonne (ton, utilité, sécurité), le DPO apprend directement de ces paires. Si un programme peut noter les réponses (tests, règles, juge automatique), le RL fait répondre le modèle, note chaque réponse et le pousse vers les mieux notées : plus coûteux, mais il dépasse les exemples fournis.