AmeliorIA

tekio.org

Extension de contexte

Permettre au modèle de traiter des textes plus longs que ceux vus au pré-entraînement : on ajuste l'encodage positionnel, puis un court fine-tuning sur textes longs.

  • Identifiant : FORM12
  • Catégorie : FORM · Remodeler : étendre ou compresser
  • Regroupe : Position Interpolation, NTK dynamique, YaRN, ABF
  • Modèles concernés : LLM à RoPE ; VLM (M-RoPE) ; encodeurs RoPE
  • Calcul : plusieurs GPU
  • Temps : heures
  • Modèle : poids nécessaires
  • Données : texte brut, documents
  • Contre l'oubli : remélanger du général
  • GPU local 12 Go (exemple de code) : ⚠️ petits modèles, 8k · ☁️
  • Code : 12-extension-contexte/

Principe

Les LLM modernes encodent la position par RoPE : chaque paire de dimensions de la requête et de la clé tourne d'un angle position × θ_i. Au-delà de la longueur d'entraînement, des angles jamais vus apparaissent et la qualité s'effondre.

methode Idée Sans fine-tuning ?
linear (Position Interpolation) Diviser les positions par le facteur : 8k positions deviennent 2k « compressées » Médiocre, il faut un fine-tuning
dynamic (NTK dynamique) Augmenter la base θ seulement quand la séquence dépasse la longueur d'origine Correct sans entraînement
yarn Interpoler uniquement les basses fréquences, garder les hautes, et corriger la température de l'attention Bon, et excellent après ~400 pas
abf Multiplier rope_theta (10k → 500k), puis entraîner longtemps sur des textes longs Non. Recette Llama 3 / Code Llama, pendant le pré-entraînement
LongRoPE Facteurs par dimension trouvés par recherche (Phi-3) Voir la littérature

Le réglage n'est qu'une modification de configuration (rope_parameters). Le fine-tuning sur des séquences longues apprend ensuite au modèle à s'en servir : 0,1 % des tokens du pré-entraînement suffisent pour YaRN.

L'exemple mesure trois états :

  1. origine : le modèle tel quel ;
  2. echelle_seule : la config RoPE modifiée, sans entraînement ;
  3. apres_finetuning.

Pour chacun, on mesure le test de la clé cachée (passkey retrieval, retrouver un nombre caché au milieu d'un long texte) à plusieurs longueurs, et la perplexité sur des documents longs. La clé est évaluée en choix forcé : la vraie clé doit être la plus probable parmi 10 candidates (hasard = 0,1). On mesure ainsi ce que le modèle a lu, indépendamment de sa façon de formuler une réponse.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM avec RoPE LLaMA, Qwen, Mistral, Gemma, Phi-3, SmolLM, DeepSeek ✅ cas principal run.py
LLM avec ALiBi BLOOM, MPT ⚠️ Extrapole un peu nativement ; pas de réglage RoPE, fine-tuning long seulement
LLM à positions absolues apprises GPT-2, OPT ⚠️ Il faut agrandir la table de positions (copie ou interpolation) puis entraîner
Encodeurs (BERT 512 → ModernBERT 8k) BERT, ModernBERT ⚠️ ModernBERT utilise RoPE : même méthode. BERT : positions apprises
Mamba / RWKV / hybrides Mamba, RWKV, Jamba ✅ Pas de limite positionnelle : fine-tuning sur textes longs uniquement
Vision / vidéo Qwen2-VL, Qwen2.5-VL (M-RoPE) ✅ RoPE multi-axes, même logique pour plus d'images ou de frames
Modèle fermé via API GPT-4o, Claude, Gemini ❌

Quand l'utiliser

  • ✅ Le modèle doit lire des documents, du code ou des conversations plus longs que sa fenêtre.
  • ✅ Adapter un modèle spécialisé (fine-tuné à 4-8k) à du 32k et plus.
  • ⚠️ Fenêtre étendue ne veut pas dire usage efficace de tout le contexte : vérifier avec RULER.
  • ❌ Si le RAG (EXEC18) suffit à apporter la bonne information dans une fenêtre courte : c'est bien moins cher à l'inférence.

Pièges

  • Données : concaténer des paragraphes courts n'apprend pas vraiment les dépendances longues. Utiliser des documents naturellement longs (livres, dépôts de code).
  • Régression en contexte court : garder des séquences courtes dans le mélange et vérifier les benchmarks habituels.
  • Servir avec la même config : vLLM et llama.cpp doivent lire le rope_scaling sauvegardé. Certaines implémentations appliquent YaRN à toutes les longueurs, ce qui dégrade légèrement le court.
  • Mémoire du cache KV à l'inférence : elle croît avec la longueur. Voir la quantification du cache (FORM15).

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Extension de contexte : exemple de code.