AmeliorIA

tekio.org

DATA : choisir entre les méthodes

Que contiennentvos données ?Des faitsà consulterEXEC18 · RAGCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibletexte brut, documents Du texte brutdu domaineDATA01 · Pré-entraînementCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général puis la tâcheDATA03 · LoRA, QLoRACalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés Des exemplesentrée → sortieDATA03 · LoRA, QLoRACalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés pas assezd'effetDATA02 · SFTCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés remélanger du général
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Les trois méthodes de cette catégorie font la même chose : elles ajustent les poids du modèle sur vos données, par descente de gradient. Ce qui les distingue, c'est la nature des données (texte brut ou exemples annotés) et la part des poids modifiée (tous, ou un petit adaptateur).

Vous avez du texte brut : pré-entraînement continu

Des documents du domaine, sans questions ni réponses : rapports, contrats, articles médicaux, textes dans une langue mal couverte. Le pré-entraînement continu reprend l'entraînement du modèle sur ce texte pour qu'il en apprenne le vocabulaire et le style.

C'est la méthode la plus coûteuse de la catégorie : il faut beaucoup de texte (des dizaines de millions de tokens au moins) et plusieurs GPU pendant des jours. Elle rend le modèle plus à l'aise dans le domaine, mais ne le rend pas capable de répondre à des questions sur ce texte : l'exemple de code le montre, la perplexité du domaine s'effondre sans que le modèle sache restituer les faits appris. On la fait donc suivre d'un entraînement sur la tâche visée.

Vous avez des exemples entrée → sortie : LoRA d'abord

Des paires question → réponse, texte → catégorie, demande → JSON. On commence par LoRA ou QLoRA : seul un petit adaptateur est entraîné, sur un seul GPU, en quelques heures, et l'on peut garder un adaptateur par tâche ou par client.

Si l'effet ne suffit pas, notamment pour un gros changement de comportement, on passe au fine-tuning supervisé complet, sur les mêmes données : tous les poids bougent, ce qui demande plus de mémoire et dégrade davantage les capacités générales.

Avant de commencer

  • Vos données sont des faits qui changent ou qu'il faut citer (catalogue, documentation interne) : ne les apprenez pas dans les poids, faites-les consulter par RAG.
  • Essayez d'abord le prompt (EXEC17) : s'il suffit, aucun entraînement n'est nécessaire.
  • Contre l'oubli : le pré-entraînement continu et le fine-tuning complet dégradent ce que le modèle savait. On mélange à ses données une part de texte ou d'exemples généraux.

Comparer les méthodes

Méthode Calcul Temps Données à fournir Remélanger du général Exemples de code
DATA01 · Pré-entraînement continu plusieurs GPU jours texte brut, documents oui démontré non prouvé
DATA02 · Fine-tuning supervisé plusieurs GPU heures exemples annotés oui démontré démontré démontré démontré démontré
DATA03 · PEFT (LoRA, QLoRA...) 1 GPU (entraînement) heures exemples annotés — démontré démontré

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel. Statuts des exemples : Statut des exemples.