RAG
- Les documents sont découpés en passages et indexés deux fois : par leurs mots (BM25) et par leur sens (embeddings).
- La question interroge les deux index ; leurs classements sont fusionnés par rang (RRF).
- Une vingtaine de passages candidats remontent.
- Un cross-encoder relit chaque couple question-passage et garde les trois meilleurs.
- Le prompt contient la consigne, les trois passages et la question ; le modèle répond à partir de ces sources.
Au moment de répondre, chercher les passages pertinents dans une base documentaire et les placer dans le prompt. Le modèle répond à partir de sources à jour, privées et citables.
- Identifiant : EXEC18
- Catégorie : EXEC · À l'exécution, sans toucher aux poids
- Regroupe : BM25, dense, hybride RRF, reranker ; Qdrant + TEI + vLLM en infra
- Modèles concernés : Tout LLM local ou API
- Calcul : 1 GPU (inférence)
- Temps : minutes
- Modèle :
fermé (API) possible - Données : texte brut, documents
- GPU local 12 Go (exemple de code) : ✅
- Code :
18-rag/
Principe
documents -> découpage en passages -> index (BM25 et/ou vecteurs)
question -> recherche top-k_candidats -> reranking -> top-k -> prompt « réponds avec ce contexte » -> LLM
| Brique | Rôle | Dans l'exemple |
|---|---|---|
| BM25 | Correspondance de mots, pondérée par leur rareté. Excellent sur les noms propres, codes, termes exacts | Implémenté en ~15 lignes |
| Dense | Similarité sémantique entre embeddings. Trouve les paraphrases, synonymes, autres langues | sentence-transformers |
| Hybride (RRF) | Fusion des deux classements par rang. Le meilleur des deux, sans calibrer les scores | fusion_rrf |
| Reranker | Un cross-encoder lit chaque couple (question, passage) : plus précis, plus lent. Appliqué seulement aux candidats | CrossEncoder |
Le corpus de test contient les fiches de 50 personnages fictifs, noyées dans 2 000 paragraphes Wikipédia. Le modèle ne peut pas connaître ces personnages : sans RAG, l'exactitude est proche de 0. Les mesures :
rappel_a_k: la bonne fiche est-elle parmi les k passages fournis ? Ça mesure la recherche seule.exactitudesans et avec RAG : ça mesure la réponse finale.
Cette même base de faits sert au pré-entraînement continu (DATA01) et au désapprentissage (EDIT10), ce qui permet de comparer directement « mettre la connaissance dans les poids » et « la fournir dans le contexte ».
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| Tout LLM instruct, local ou via API | Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct | ✅ cas principal | modele.api_base pour une API |
| Petits modèles (< 3B) | Qwen2.5-0.5B / 1.5B, Llama-3.2-1B, SmolLM2 | ✅ | Le RAG compense beaucoup leur manque de connaissances ; ils suivent moins bien la consigne « seulement le contexte » |
| Multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | RAG sur images et PDF (ColPali, embeddings multimodaux) |
| Encodeurs | BERT, RoBERTa, ModernBERT | ✅ comme briques | Ce sont eux qui font la recherche (embeddings, rerankers) et qu'on fine-tune pour l'améliorer |
| Diffusion | Stable Diffusion, SDXL, Flux | ⚠️ | « Retrieval-augmented diffusion » : images de référence (IP-Adapter), usage de niche |
| Modèles fermés | GPT-4o, Claude, Gemini | ✅ | La méthode standard pour brancher des données privées sur GPT, Claude ou Gemini |
Quand l'utiliser
- ✅ Connaissances privées, volumineuses ou qui changent : docs internes, base produit, juridique, support.
- ✅ Besoin de citer les sources et de limiter les hallucinations.
- ✅ Mise à jour instantanée : on réindexe, sans réentraîner.
- ⚠️ La qualité dépend d'abord de la recherche : si
rappel_a_kest bas, aucun LLM ne répondra bien. - ❌ Pour changer un comportement, un style ou une compétence de raisonnement : c'est le rôle du fine-tuning.
Pièges
- Découpage : trop petit, on perd le contexte ; trop grand, on dilue et on paie des tokens. 300 à 1 000 caractères avec chevauchement est un bon départ.
- Embeddings anglophones sur du français : utiliser un modèle multilingue (bge-m3, multilingual-e5).
- Contexte ignoré ou contredit : le modèle préfère parfois ses propres connaissances. Consigne explicite, et « dis que tu ne sais pas ».
- « Lost in the middle » : les passages au milieu d'un long contexte sont moins utilisés. Garder k petit et bien classé.
- Évaluer séparément la recherche (rappel) et la génération (exactitude, fidélité).
Références
- RAG : Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020). Récupérer des passages et générer à partir d'eux.
- BM25 : Robertson & Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond (2009). Recherche lexicale pondérée par la rareté des mots.
- DPR : Karpukhin et al., Dense Passage Retrieval for Open-Domain Question Answering (2020). Recherche dense par embeddings de question et de passage.
- Sentence-BERT : Reimers & Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (2019). Embeddings de phrases pour la similarité.
- BGE-M3 : Chen et al., M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation (2024). Embeddings multilingues dense, creux et multi-vecteurs.
- ColBERT : Khattab & Zaharia, ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (2020). Recherche multi-vecteurs par interaction tardive.
- RRF : Cormack, Clarke & Buettcher, Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods (SIGIR 2009). Fusionner des classements par leurs rangs.
- Reranking BERT : Nogueira & Cho, Passage Re-ranking with BERT (2019). Cross-encoder qui reclasse les candidats.
- Lost in the Middle : Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023). Les passages au milieu d'un long contexte sont moins utilisés.
- Panorama RAG : Gao et al., Retrieval-Augmented Generation for Large Language Models: A Survey (2023). Synthèse des architectures RAG.
Dans le dépôt
Exemple, résultats mesurés et commandes : RAG : exemple de code.