Extension de contexte
Permettre au modèle de traiter des textes plus longs que ceux vus au pré-entraînement : on ajuste l'encodage positionnel, puis un court fine-tuning sur textes longs.
- Identifiant : FORM12
- Catégorie : FORM · Remodeler : étendre ou compresser
- Regroupe : Position Interpolation, NTK dynamique, YaRN, ABF
- Modèles concernés : LLM à RoPE ; VLM (M-RoPE) ; encodeurs RoPE
- Calcul : plusieurs GPU
- Temps : heures
- Modèle :
poids nécessaires - Données : texte brut, documents
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ⚠️ petits modèles, 8k · ☁️
- Code :
12-extension-contexte/
Principe
Les LLM modernes encodent la position par RoPE : chaque paire de dimensions de la requête et de la clé tourne d'un angle position × θ_i. Au-delà de la longueur d'entraînement, des angles jamais vus apparaissent et la qualité s'effondre.
methode |
Idée | Sans fine-tuning ? |
|---|---|---|
linear (Position Interpolation) |
Diviser les positions par le facteur : 8k positions deviennent 2k « compressées » | Médiocre, il faut un fine-tuning |
dynamic (NTK dynamique) |
Augmenter la base θ seulement quand la séquence dépasse la longueur d'origine | Correct sans entraînement |
yarn |
Interpoler uniquement les basses fréquences, garder les hautes, et corriger la température de l'attention | Bon, et excellent après ~400 pas |
abf |
Multiplier rope_theta (10k → 500k), puis entraîner longtemps sur des textes longs |
Non. Recette Llama 3 / Code Llama, pendant le pré-entraînement |
| LongRoPE | Facteurs par dimension trouvés par recherche (Phi-3) | Voir la littérature |
Le réglage n'est qu'une modification de configuration (rope_parameters). Le fine-tuning sur des séquences longues apprend ensuite au modèle à s'en servir : 0,1 % des tokens du pré-entraînement suffisent pour YaRN.
L'exemple mesure trois états :
origine: le modèle tel quel ;echelle_seule: la config RoPE modifiée, sans entraînement ;apres_finetuning.
Pour chacun, on mesure le test de la clé cachée (passkey retrieval, retrouver un nombre caché au milieu d'un long texte) à plusieurs longueurs, et la perplexité sur des documents longs. La clé est évaluée en choix forcé : la vraie clé doit être la plus probable parmi 10 candidates (hasard = 0,1). On mesure ainsi ce que le modèle a lu, indépendamment de sa façon de formuler une réponse.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM avec RoPE | LLaMA, Qwen, Mistral, Gemma, Phi-3, SmolLM, DeepSeek | ✅ cas principal | run.py |
| LLM avec ALiBi | BLOOM, MPT | ⚠️ | Extrapole un peu nativement ; pas de réglage RoPE, fine-tuning long seulement |
| LLM à positions absolues apprises | GPT-2, OPT | ⚠️ | Il faut agrandir la table de positions (copie ou interpolation) puis entraîner |
| Encodeurs (BERT 512 → ModernBERT 8k) | BERT, ModernBERT | ⚠️ | ModernBERT utilise RoPE : même méthode. BERT : positions apprises |
| Mamba / RWKV / hybrides | Mamba, RWKV, Jamba | ✅ | Pas de limite positionnelle : fine-tuning sur textes longs uniquement |
| Vision / vidéo | Qwen2-VL, Qwen2.5-VL (M-RoPE) | ✅ | RoPE multi-axes, même logique pour plus d'images ou de frames |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ |
Quand l'utiliser
- ✅ Le modèle doit lire des documents, du code ou des conversations plus longs que sa fenêtre.
- ✅ Adapter un modèle spécialisé (fine-tuné à 4-8k) à du 32k et plus.
- ⚠️ Fenêtre étendue ne veut pas dire usage efficace de tout le contexte : vérifier avec RULER.
- ❌ Si le RAG (EXEC18) suffit à apporter la bonne information dans une fenêtre courte : c'est bien moins cher à l'inférence.
Pièges
- Données : concaténer des paragraphes courts n'apprend pas vraiment les dépendances longues. Utiliser des documents naturellement longs (livres, dépôts de code).
- Régression en contexte court : garder des séquences courtes dans le mélange et vérifier les benchmarks habituels.
- Servir avec la même config : vLLM et llama.cpp doivent lire le
rope_scalingsauvegardé. Certaines implémentations appliquent YaRN à toutes les longueurs, ce qui dégrade légèrement le court. - Mémoire du cache KV à l'inférence : elle croît avec la longueur. Voir la quantification du cache (FORM15).
Références
- Position Interpolation : Chen et al., Extending Context Window of Large Language Models via Positional Interpolation (2023). Compresser les positions pour rester dans la plage vue à l'entraînement.
- NTK-aware RoPE : bloc97, NTK-Aware Scaled RoPE (post r/LocalLLaMA, 2023). Augmenter la base de RoPE plutôt que compresser les positions.
- YaRN : Peng et al., YaRN: Efficient Context Window Extension of Large Language Models (2023). Interpolation par bande de fréquence + correction de température.
- ABF : Xiong et al., Effective Long-Context Scaling of Foundation Models (2023). Augmenter la base de RoPE et pré-entraîner sur du long.
- Code Llama : Rozière et al., Code Llama: Open Foundation Models for Code (2023). Fine-tuning long contexte avec base RoPE augmentée.
- LongRoPE : Ding et al., LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens (2024). Facteurs de mise à l'échelle par dimension trouvés par recherche.
- Ring Attention : Liu et al., Ring Attention with Blockwise Transformers for Near-Infinite Context (2023). Répartir une séquence très longue entre plusieurs GPU.
- RULER : Hsieh et al., RULER: What's the Real Context Size of Your Long-Context Language Models? (2024). Mesurer la taille de contexte réellement utilisable.
Dans le dépôt
Exemple, résultats mesurés et commandes : Extension de contexte : exemple de code.