AmeliorIA

tekio.org

Outils et agents

Donner au modèle des fonctions qu'il peut appeler (calculatrice, recherche, API, exécution de code) et une boucle qui exécute ces appels, puis lui renvoie les résultats jusqu'à la réponse finale.

  • Identifiant : EXEC19
  • Catégorie : EXEC · À l'exécution, sans toucher aux poids
  • Regroupe : Function calling, boucle agentique
  • Modèles concernés : LLM entraînés aux outils (≥ 3B), API
  • Calcul : CPU ou API
  • Temps : minutes
  • Modèle : fermé (API) possible
  • Données : — aucune donnée
  • GPU local 12 Go (exemple de code) : ✅
  • Code : 19-outils-agents/

Principe

Un LLM calcule mal de tête, ne connaît pas les données privées ni l'actualité, et ne peut pas agir. Avec des outils, il délègue :

[système + outils décrits en JSON Schema] + question
  -> modèle : <tool_call>{"name": "calculer", "arguments": {"expression": "347*29+1234"}}</tool_call>
  -> programme : exécute calculer(...) -> "11297"
  -> modèle (avec le résultat) : "... Answer: 11297"
  • Local (run.py, boucle_locale) : tok.apply_chat_template(messages, tools=[fonctions]). transformers génère le schéma JSON à partir des signatures et des docstrings, puis on analyse les balises <tool_call> (format Hermes, Qwen).
  • API (boucle_api) : protocole OpenAI tools / tool_calls, compatible vLLM, Ollama et les fournisseurs cloud.

L'exemple pose deux types de questions impossibles sans outil pour un petit modèle :

  1. un calcul à gros nombres, résolu avec calculer ;
  2. une question sur un personnage fictif suivie d'un calcul (« combien d'années entre sa naissance et 2024 »), qui demande chercher_fiche puis calculer.

Mesures : exactitude sans outils, exactitude avec outils, nombre moyen d'appels.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM instruct entraînés au tool calling Qwen2.5/3, Llama 3.1+, Mistral, Hermes, GLM, DeepSeek ✅ cas principal Le chat template doit accepter tools
LLM fermés via API GPT, Claude, Gemini ✅ modele.api_base
Petits modèles (< 3B) ou sans entraînement aux outils Qwen2.5-0.5B / 1.5B, Llama-3.2-1B, SmolLM2 ⚠️ Appels mal formés. Solution : SFT sur des traces d'appels (DATA02, DATA03) ou génération contrainte (JSON schema)
Multimodal Qwen2.5-VL, LLaVA, Idefics ✅ Agents « computer use » : captures d'écran en entrée, actions en sortie
Encodeurs, diffusion BERT, Stable Diffusion ❌ Pas de boucle de décision. Ils peuvent en revanche être des outils

Quand l'utiliser

  • ✅ Calcul exact, données à jour (recherche web, base SQL), actions (envoyer, créer, exécuter).
  • ✅ Tâches en plusieurs étapes dont le modèle choisit l'enchaînement.
  • ⚠️ Chaque tour relance le modèle, donc latence et coût se multiplient. Limiter max_tours.
  • ⚠️ Sécurité : un outil qui exécute du code ou agit sur un système doit être isolé (bac à sable, liste blanche). L'outil calculer de l'exemple évalue un AST restreint, jamais eval brut.

Pièges

  • Parser adapté à la famille : le format des appels varie (Hermes, Llama JSON, Mistral).
  • Descriptions d'outils : le modèle choisit d'après la docstring. Elle doit être précise et donner un exemple d'argument.
  • Boucles infinies : borner les tours, détecter les appels répétés à l'identique.
  • Résultats d'outils non fiables (web) : c'est un vecteur d'injection de prompt. Traiter leur contenu comme des données, jamais comme des instructions.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Outils et agents : exemple de code.