AmeliorIA

tekio.org

Optimisation du prompt

Améliorer les résultats sans toucher au modèle, en cherchant systématiquement la meilleure façon de le solliciter, mesurée sur un jeu de validation.

  • Identifiant : EXEC17
  • Catégorie : EXEC · À l'exécution, sans toucher aux poids
  • Regroupe : Instruction, CoT, few-shot (aléatoire / par similarité), OPRO ; DSPy en infra
  • Modèles concernés : Tout LLM local ou API ; VLM ; diffusion (réécriture de prompts)
  • Calcul : CPU ou API
  • Temps : minutes
  • Modèle : fermé (API) possible
  • Données : — aucune donnée
  • GPU local 12 Go (exemple de code) : ✅
  • Code : 17-optimisation-prompt/

Principe

Le prompt est un hyperparamètre. On le traite comme tel : plusieurs candidats, un jeu de validation pour choisir, un jeu de test séparé pour confirmer (sinon on surapprend le prompt).

strategie Ce qui change
zero_shot La question seule
instruction Un message système décrit la tâche et le format attendu
cot On demande un raisonnement étape par étape avant la réponse
few_shot k exemples question/réponse tirés au hasard, en tours de dialogue
few_shot_similaires Les k exemples les plus proches de la question, trouvés par embeddings. Souvent nettement meilleur que l'aléatoire
optimisation Boucle OPRO : un LLM « optimiseur » voit les instructions déjà essayées et leur score, en propose de nouvelles, qu'on évalue ; on garde la meilleure

À plus grande échelle, DSPy / MIPROv2 (infra/dspy_miprov2.py) optimise conjointement les instructions et le choix des exemples d'un programme LLM entier (plusieurs étapes, RAG, outils).

Toutes les méthodes des dossiers 17 à 20 passent par commun/generateur.py. Il utilise indifféremment un modèle local ou une API compatible OpenAI : ces méthodes s'appliquent aussi aux modèles fermés.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM instruct / chat, local ou via API GPT, Claude, Gemini, Mistral ✅ cas principal modele.api_base pour une API
LLM de base Llama-3.1-8B, Qwen2.5-7B, Mistral-7B (versions de base) ✅ Le few-shot est alors la façon de spécifier la tâche. Pas d'instruction système
Encodeurs / classifieurs BERT, RoBERTa, ModernBERT ⚠️ Prompts « à trous » (PET), peu utilisés aujourd'hui
Multimodal (VLM) Qwen2.5-VL, GPT-4o ✅ Mêmes stratégies avec des images dans les messages
Diffusion (texte → image) Stable Diffusion, SDXL, Flux ✅ Réécriture et optimisation de prompts (LLM rewriter, « prompt expansion »)
Tout modèle fermé GPT-4o, Claude, Gemini ✅ La seule famille de méthodes avec RAG, outils et calcul à l'inférence (18 à 20)

Quand l'utiliser

  • ✅ Toujours en premier, avant tout fine-tuning : c'est gratuit, immédiat et réversible.
  • ✅ Modèles fermés, pas d'accès aux poids.
  • ✅ Tâches qui changent souvent : un prompt se met à jour en quelques minutes.
  • ⚠️ Plafond : le prompting ne donne pas au modèle une compétence qu'il n'a pas, et un long prompt coûte à chaque appel. Si le few-shot demande 20 exemples, un SFT ou une LoRA (DATA02, DATA03) devient rentable.

Pièges

  • Surapprentissage du prompt : toujours un jeu de test séparé.
  • Un témoin sans LLM : quand les exemples sont choisis par similarité, comparer au vote de ces mêmes exemples. Ici il fait mieux que le LLM.
  • Sensibilité : l'ordre des exemples, le format et même les espaces changent les scores. Comparer sur assez d'exemples (≥ 200) pour que les écarts soient significatifs.
  • CoT et petits modèles : le raisonnement explicite aide surtout au-delà de quelques milliards de paramètres.
  • Modèles de raisonnement (o1, R1, Qwen3 thinking) : ils raisonnent déjà. Le CoT et le few-shot de raisonnement peuvent dégrader leurs résultats.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Optimisation du prompt : exemple de code.