Doc ∃xempℓIA

tekio.org
GitHub

Évaluation et résultats

Tests

Niveau Contenu Besoin
Unitaires Outils, règles, validations SQL, garde (règles), génération de données, sélection des passages de contrat Aucun service
Intégration sans modèle Routes FastAPI et workflows avec FauxClientLLM Aucun service
Évaluation Jeux JSONL avec les modèles réels, résultats dans MLflow Ollama (GPU), Qdrant, PostgreSQL

make tests exécute les deux premiers niveaux :

make tests

Le client LLM y est remplacé par un faux client scripté, la base par SQLite en mémoire, Qdrant par son mode mémoire, MLflow par un stockage SQLite temporaire. Ils couvrent la plomberie : outils, règles métier, garde, validation SQL, workflows LangGraph, routes web, cycle MLOps, mécanique d'évaluation. L'intégration continue (.github/workflows/ci.yml) les rejoue à chaque push, avec ruff.

La qualité des réponses des modèles se mesure à part, avec make evaluer, qui demande les modèles et les services. La mécanique — jeux, scorers, juges, surveillance — est décrite dans llmops.

Résultats mesurés

Avec les modèles par défaut :

Exemple Résultats
Garde blocage correct 0,90 sur 20 messages, aucun faux positif sur les 11 messages légitimes
RAG 13 questions : rappel 1,0 · aucune fuite d'accès · citations 1,0 · exactitude (juge) 0,92
Service client 13 demandes : consignes (juge) 1,0 · mentions 1,0 · action 0,92 · escalade 0,91 · outils 0,80
Conformité 3 contrats, 21 verdicts : verdicts corrects 0,90 · citations vérifiées 0,95
Analyse de données 10 questions : requête exécutée 1,0 · résultat identique à la référence 1,0
Workflow d'agents 7 emails × 2 architectures : action 1,0 · escalade 1,0 · brouillon 1,0 ; 2,1 appels LLM contre 5,0 pour l'orchestrateur
Tri des tickets LLM 1,000 (300 ms) · CamemBERT 0,935 (0,26 ms) · embeddings 0,864 (6,6 ms) · TF-IDF 0,769 (0,02 ms)

Ces scores varient de quelques points d'une exécution à l'autre : le serveur de modèles n'est pas déterministe d'un lot à l'autre, et le juge non plus.