Outils et agents
Donner au modèle des fonctions qu'il peut appeler (calculatrice, recherche, API, exécution de code) et une boucle qui exécute ces appels, puis lui renvoie les résultats jusqu'à la réponse finale.
- Identifiant : EXEC19
- Catégorie : EXEC · À l'exécution, sans toucher aux poids
- Regroupe : Function calling, boucle agentique
- Modèles concernés : LLM entraînés aux outils (≥ 3B), API
- Calcul : CPU ou API
- Temps : minutes
- Modèle :
fermé (API) possible - Données : — aucune donnée
- GPU local 12 Go (exemple de code) : ✅
- Code :
19-outils-agents/
Principe
Un LLM calcule mal de tête, ne connaît pas les données privées ni l'actualité, et ne peut pas agir. Avec des outils, il délègue :
[système + outils décrits en JSON Schema] + question
-> modèle : <tool_call>{"name": "calculer", "arguments": {"expression": "347*29+1234"}}</tool_call>
-> programme : exécute calculer(...) -> "11297"
-> modèle (avec le résultat) : "... Answer: 11297"
- Local (
run.py,boucle_locale) :tok.apply_chat_template(messages, tools=[fonctions]). transformers génère le schéma JSON à partir des signatures et des docstrings, puis on analyse les balises<tool_call>(format Hermes, Qwen). - API (
boucle_api) : protocole OpenAItools/tool_calls, compatible vLLM, Ollama et les fournisseurs cloud.
L'exemple pose deux types de questions impossibles sans outil pour un petit modèle :
- un calcul à gros nombres, résolu avec
calculer; - une question sur un personnage fictif suivie d'un calcul (« combien d'années entre sa naissance et 2024 »), qui demande
chercher_fichepuiscalculer.
Mesures : exactitude sans outils, exactitude avec outils, nombre moyen d'appels.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM instruct entraînés au tool calling | Qwen2.5/3, Llama 3.1+, Mistral, Hermes, GLM, DeepSeek | ✅ cas principal | Le chat template doit accepter tools |
| LLM fermés via API | GPT, Claude, Gemini | ✅ | modele.api_base |
| Petits modèles (< 3B) ou sans entraînement aux outils | Qwen2.5-0.5B / 1.5B, Llama-3.2-1B, SmolLM2 | ⚠️ | Appels mal formés. Solution : SFT sur des traces d'appels (DATA02, DATA03) ou génération contrainte (JSON schema) |
| Multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | Agents « computer use » : captures d'écran en entrée, actions en sortie |
| Encodeurs, diffusion | BERT, Stable Diffusion | ❌ | Pas de boucle de décision. Ils peuvent en revanche être des outils |
Quand l'utiliser
- ✅ Calcul exact, données à jour (recherche web, base SQL), actions (envoyer, créer, exécuter).
- ✅ Tâches en plusieurs étapes dont le modèle choisit l'enchaînement.
- ⚠️ Chaque tour relance le modèle, donc latence et coût se multiplient. Limiter
max_tours. - ⚠️ Sécurité : un outil qui exécute du code ou agit sur un système doit être isolé (bac à sable, liste blanche). L'outil
calculerde l'exemple évalue un AST restreint, jamaisevalbrut.
Pièges
- Parser adapté à la famille : le format des appels varie (Hermes, Llama JSON, Mistral).
- Descriptions d'outils : le modèle choisit d'après la docstring. Elle doit être précise et donner un exemple d'argument.
- Boucles infinies : borner les tours, détecter les appels répétés à l'identique.
- Résultats d'outils non fiables (web) : c'est un vecteur d'injection de prompt. Traiter leur contenu comme des données, jamais comme des instructions.
Références
- ReAct : Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models (2022). Alterner raisonnement et actions dans une boucle.
- Toolformer : Schick et al., Toolformer: Language Models Can Teach Themselves to Use Tools (2023). Le modèle apprend seul quand appeler une API.
- Gorilla : Patil et al., Gorilla: Large Language Model Connected with Massive APIs (2023). LLM entraîné à appeler correctement de nombreuses API.
Dans le dépôt
Exemple, résultats mesurés et commandes : Outils et agents : exemple de code.