AmeliorIA

tekio.org

Quelle méthode pour quel besoin

Que faut-il améliorer ?Ses connaissancesAjouter des documentsEXEC18 · RAGCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibletexte brut, documents Corriger quelques faitsEDIT09 · ÉditionCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés Retirer un savoirEDIT10 · DésapprentissageCalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Savoir à intégrerDATA01 · Pré-entraînementCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Tâche, format ou styleConsigne et exemplesEXEC17 · PromptCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibleCentaines d'exemplesDATA03 · LoRA, QLoRACalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés On sait juger A > BSIGN04 · DPOCalcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairespréférences A > B La LoRA plafonneDATA02 · SFT completCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés remélanger du général Raisonnement (maths, code)Calcul exact, actionsEXEC19 · OutilsCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possiblePlusieurs essais, voteEXEC20 · InférenceCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibleRéponses vérifiablesSIGN07 · Données synth.Calcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables Récompense calculableSIGN05 · RLCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables Sans réentraînerFusionner des fine-tunesEDIT08 · FusionCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesDoser un trait (ton)EDIT11 · PilotageCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairespréférences A > B Trop gros ou trop lentMême modèle, plus légerFORM15 · QuantificationCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesCouches superfluesFORM16 · ÉlagageCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Plus petit, réentraînéSIGN06 · DistillationCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents Limites de la formeTextes > fenêtreFORM12 · ContexteCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Langue mal découpéeFORM13 · VocabulaireCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Plus de capacitéFORM14 · CroissanceCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Les méthodes de la catégorie EXEC « À l'exécution, sans toucher aux poids » marchent aussi avec un modèle fermé appelé par API. Elles se combinent avec toutes les autres : un modèle affiné se sert encore avec un bon prompt, du RAG et des outils.

Recette d'un modèle post-entraîné

Les grands modèles ouverts (Tülu 3, Llama 3, Qwen) enchaînent plusieurs de ces méthodes. L'ordre type :

  1. Pré-entraînement continu sur des données de qualité, éventuellement avec extension de contexte.
  2. SFT sur des instructions, enrichi de données synthétiques filtrées.
  3. DPO sur des préférences, dont des préférences produites par le modèle lui-même.
  4. RL à récompense vérifiable sur les maths, le code et le respect des consignes.
  5. Fusion éventuelle de plusieurs variantes.
  6. Quantification pour le service.
  7. Au déploiement : prompt système, RAG, outils et calcul à l'inférence.