AmeliorIA

tekio.org

RAG

Documentsfiches, wiki, PDFIndexBM25 + embeddingsQuestionRecherche hybridefusion RRF, top 20Rerankercross-encoder, top 3LLM geléprompt + 3 passages12345
  1. Les documents sont découpés en passages et indexés deux fois : par leurs mots (BM25) et par leur sens (embeddings).
  2. La question interroge les deux index ; leurs classements sont fusionnés par rang (RRF).
  3. Une vingtaine de passages candidats remontent.
  4. Un cross-encoder relit chaque couple question-passage et garde les trois meilleurs.
  5. Le prompt contient la consigne, les trois passages et la question ; le modèle répond à partir de ces sources.

Au moment de répondre, chercher les passages pertinents dans une base documentaire et les placer dans le prompt. Le modèle répond à partir de sources à jour, privées et citables.

  • Identifiant : EXEC18
  • Catégorie : EXEC · À l'exécution, sans toucher aux poids
  • Regroupe : BM25, dense, hybride RRF, reranker ; Qdrant + TEI + vLLM en infra
  • Modèles concernés : Tout LLM local ou API
  • Calcul : 1 GPU (inférence)
  • Temps : minutes
  • Modèle : fermé (API) possible
  • Données : texte brut, documents
  • GPU local 12 Go (exemple de code) : ✅
  • Code : 18-rag/

Principe

documents -> découpage en passages -> index (BM25 et/ou vecteurs)
question  -> recherche top-k_candidats -> reranking -> top-k -> prompt « réponds avec ce contexte » -> LLM
Brique Rôle Dans l'exemple
BM25 Correspondance de mots, pondérée par leur rareté. Excellent sur les noms propres, codes, termes exacts Implémenté en ~15 lignes
Dense Similarité sémantique entre embeddings. Trouve les paraphrases, synonymes, autres langues sentence-transformers
Hybride (RRF) Fusion des deux classements par rang. Le meilleur des deux, sans calibrer les scores fusion_rrf
Reranker Un cross-encoder lit chaque couple (question, passage) : plus précis, plus lent. Appliqué seulement aux candidats CrossEncoder

Le corpus de test contient les fiches de 50 personnages fictifs, noyées dans 2 000 paragraphes Wikipédia. Le modèle ne peut pas connaître ces personnages : sans RAG, l'exactitude est proche de 0. Les mesures :

  • rappel_a_k : la bonne fiche est-elle parmi les k passages fournis ? Ça mesure la recherche seule.
  • exactitude sans et avec RAG : ça mesure la réponse finale.

Cette même base de faits sert au pré-entraînement continu (DATA01) et au désapprentissage (EDIT10), ce qui permet de comparer directement « mettre la connaissance dans les poids » et « la fournir dans le contexte ».

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
Tout LLM instruct, local ou via API Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct ✅ cas principal modele.api_base pour une API
Petits modèles (< 3B) Qwen2.5-0.5B / 1.5B, Llama-3.2-1B, SmolLM2 ✅ Le RAG compense beaucoup leur manque de connaissances ; ils suivent moins bien la consigne « seulement le contexte »
Multimodal Qwen2.5-VL, LLaVA, Idefics ✅ RAG sur images et PDF (ColPali, embeddings multimodaux)
Encodeurs BERT, RoBERTa, ModernBERT ✅ comme briques Ce sont eux qui font la recherche (embeddings, rerankers) et qu'on fine-tune pour l'améliorer
Diffusion Stable Diffusion, SDXL, Flux ⚠️ « Retrieval-augmented diffusion » : images de référence (IP-Adapter), usage de niche
Modèles fermés GPT-4o, Claude, Gemini ✅ La méthode standard pour brancher des données privées sur GPT, Claude ou Gemini

Quand l'utiliser

  • ✅ Connaissances privées, volumineuses ou qui changent : docs internes, base produit, juridique, support.
  • ✅ Besoin de citer les sources et de limiter les hallucinations.
  • ✅ Mise à jour instantanée : on réindexe, sans réentraîner.
  • ⚠️ La qualité dépend d'abord de la recherche : si rappel_a_k est bas, aucun LLM ne répondra bien.
  • ❌ Pour changer un comportement, un style ou une compétence de raisonnement : c'est le rôle du fine-tuning.

Pièges

  • Découpage : trop petit, on perd le contexte ; trop grand, on dilue et on paie des tokens. 300 à 1 000 caractères avec chevauchement est un bon départ.
  • Embeddings anglophones sur du français : utiliser un modèle multilingue (bge-m3, multilingual-e5).
  • Contexte ignoré ou contredit : le modèle préfère parfois ses propres connaissances. Consigne explicite, et « dis que tu ne sais pas ».
  • « Lost in the middle » : les passages au milieu d'un long contexte sont moins utilisés. Garder k petit et bien classé.
  • Évaluer séparément la recherche (rappel) et la génération (exactitude, fidélité).

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : RAG : exemple de code.