AmeliorIA

tekio.org

EXEC : choisir entre les méthodes

Que manque-t-ilau modèle ?Des consignesclairesEXEC17 · PromptCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibleDes documentsà consulterEXEC18 · RAGCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibletexte brut, documents Agir ou calculerexactementEXEC19 · OutilsCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibleDe la fiabilitéen raisonnementEXEC20 · InférenceCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possible
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Ces méthodes ne modifient pas le modèle : elles améliorent ce qui se passe autour de lui, au moment où il répond. Elles marchent donc aussi avec un modèle fermé appelé par API, se mettent en place en quelques minutes et se défont aussi vite. Elles se combinent entre elles et avec toutes les autres catégories. On commence toujours par là, avant d'envisager un entraînement.

Des consignes claires : optimisation du prompt

Le modèle sait faire la tâche mais la comprend mal : format non respecté, raisonnement bâclé, ton inadapté. L'optimisation du prompt améliore la consigne : instruction précise, raisonnement pas à pas, exemples choisis parmi les plus proches de la question. C'est gratuit et immédiat, mais cela ne donne pas au modèle une compétence qu'il n'a pas. Si le prompt doit contenir des dizaines d'exemples, un entraînement LoRA (DATA03) devient rentable.

Des documents à consulter : RAG

Le modèle doit répondre sur des informations qu'il n'a jamais vues : documentation interne, catalogue, textes juridiques. Le RAG recherche les passages utiles et les place dans le prompt. Les connaissances se mettent à jour en réindexant, et les réponses peuvent citer leurs sources. La qualité dépend d'abord de la recherche : si le bon passage n'est pas retrouvé, le modèle ne peut pas bien répondre.

Agir ou calculer exactement : outils et agents

Le modèle doit faire un calcul exact, lire une donnée à jour ou agir sur un système (requête SQL, envoi, création). Avec les outils, il décide d'appeler une fonction, lit le résultat et poursuit. Chaque appel relance le modèle, donc la latence et le coût augmentent. Un outil qui agit sur un système doit être isolé.

De la fiabilité en raisonnement : calcul à l'inférence

Le modèle trouve souvent la bonne réponse, mais pas à chaque fois. Le calcul à l'inférence génère plusieurs réponses et garde la plus fréquente (vote majoritaire) ou la mieux notée. Le coût est multiplié par le nombre de réponses générées, et il faut des réponses comparables (un nombre, un choix). L'écart entre une réponse unique et la meilleure de N indique aussi ce qu'un entraînement par RL (SIGN05) pourrait apporter.

Comparer les méthodes

Méthode Calcul Temps Données à fournir Remélanger du général Exemples de code
EXEC17 · Optimisation du prompt CPU ou API minutes — aucune donnée — démontré
EXEC18 · RAG 1 GPU (inférence) minutes texte brut, documents — démontré
EXEC19 · Outils et agents CPU ou API minutes — aucune donnée — démontré
EXEC20 · Calcul à l'inférence 1 GPU (inférence) minutes — aucune donnée — démontré

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel. Statuts des exemples : Statut des exemples.