Optimisation du prompt
Améliorer les résultats sans toucher au modèle, en cherchant systématiquement la meilleure façon de le solliciter, mesurée sur un jeu de validation.
- Identifiant : EXEC17
- Catégorie : EXEC · À l'exécution, sans toucher aux poids
- Regroupe : Instruction, CoT, few-shot (aléatoire / par similarité), OPRO ; DSPy en infra
- Modèles concernés : Tout LLM local ou API ; VLM ; diffusion (réécriture de prompts)
- Calcul : CPU ou API
- Temps : minutes
- Modèle :
fermé (API) possible - Données : — aucune donnée
- GPU local 12 Go (exemple de code) : ✅
- Code :
17-optimisation-prompt/
Principe
Le prompt est un hyperparamètre. On le traite comme tel : plusieurs candidats, un jeu de validation pour choisir, un jeu de test séparé pour confirmer (sinon on surapprend le prompt).
strategie |
Ce qui change |
|---|---|
zero_shot |
La question seule |
instruction |
Un message système décrit la tâche et le format attendu |
cot |
On demande un raisonnement étape par étape avant la réponse |
few_shot |
k exemples question/réponse tirés au hasard, en tours de dialogue |
few_shot_similaires |
Les k exemples les plus proches de la question, trouvés par embeddings. Souvent nettement meilleur que l'aléatoire |
optimisation |
Boucle OPRO : un LLM « optimiseur » voit les instructions déjà essayées et leur score, en propose de nouvelles, qu'on évalue ; on garde la meilleure |
À plus grande échelle, DSPy / MIPROv2 (infra/dspy_miprov2.py) optimise conjointement les instructions et le choix des exemples d'un programme LLM entier (plusieurs étapes, RAG, outils).
Toutes les méthodes des dossiers 17 à 20 passent par commun/generateur.py. Il utilise indifféremment un modèle local ou une API compatible OpenAI : ces méthodes s'appliquent aussi aux modèles fermés.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM instruct / chat, local ou via API | GPT, Claude, Gemini, Mistral | ✅ cas principal | modele.api_base pour une API |
| LLM de base | Llama-3.1-8B, Qwen2.5-7B, Mistral-7B (versions de base) | ✅ | Le few-shot est alors la façon de spécifier la tâche. Pas d'instruction système |
| Encodeurs / classifieurs | BERT, RoBERTa, ModernBERT | ⚠️ | Prompts « à trous » (PET), peu utilisés aujourd'hui |
| Multimodal (VLM) | Qwen2.5-VL, GPT-4o | ✅ | Mêmes stratégies avec des images dans les messages |
| Diffusion (texte → image) | Stable Diffusion, SDXL, Flux | ✅ | Réécriture et optimisation de prompts (LLM rewriter, « prompt expansion ») |
| Tout modèle fermé | GPT-4o, Claude, Gemini | ✅ | La seule famille de méthodes avec RAG, outils et calcul à l'inférence (18 à 20) |
Quand l'utiliser
- ✅ Toujours en premier, avant tout fine-tuning : c'est gratuit, immédiat et réversible.
- ✅ Modèles fermés, pas d'accès aux poids.
- ✅ Tâches qui changent souvent : un prompt se met à jour en quelques minutes.
- ⚠️ Plafond : le prompting ne donne pas au modèle une compétence qu'il n'a pas, et un long prompt coûte à chaque appel. Si le few-shot demande 20 exemples, un SFT ou une LoRA (DATA02, DATA03) devient rentable.
Pièges
- Surapprentissage du prompt : toujours un jeu de test séparé.
- Un témoin sans LLM : quand les exemples sont choisis par similarité, comparer au vote de ces mêmes exemples. Ici il fait mieux que le LLM.
- Sensibilité : l'ordre des exemples, le format et même les espaces changent les scores. Comparer sur assez d'exemples (≥ 200) pour que les écarts soient significatifs.
- CoT et petits modèles : le raisonnement explicite aide surtout au-delà de quelques milliards de paramètres.
- Modèles de raisonnement (o1, R1, Qwen3 thinking) : ils raisonnent déjà. Le CoT et le few-shot de raisonnement peuvent dégrader leurs résultats.
Références
- Few-shot (GPT-3) : Brown et al., Language Models are Few-Shot Learners (2020). Spécifier une tâche par quelques exemples dans le prompt.
- Chain-of-thought : Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022). Faire raisonner étape par étape par l'exemple.
- Zero-shot CoT : Kojima et al., Large Language Models are Zero-Shot Reasoners (2022). « Let's think step by step » sans exemple.
- KATE : Liu et al., What Makes Good In-Context Examples for GPT-3? (2021). Choisir les exemples les plus proches de la question.
- APE : Zhou et al., Large Language Models Are Human-Level Prompt Engineers (2022). Générer et sélectionner automatiquement des instructions.
- OPRO : Yang et al., Large Language Models as Optimizers (2023). Un LLM optimiseur propose des instructions à partir des scores passés.
- DSPy : Khattab et al., DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines (2023). Programmes LLM déclaratifs optimisés automatiquement.
- MIPROv2 : Opsahl-Ong et al., Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs (2024). Optimisation conjointe des instructions et des exemples.
Dans le dépôt
Exemple, résultats mesurés et commandes : Optimisation du prompt : exemple de code.