Extension de vocabulaire
Ajouter au tokenizer des tokens pour un domaine ou une langue mal couverts, agrandir les matrices d'embedding, initialiser les nouveaux vecteurs intelligemment, puis entraîner.
- Identifiant : FORM13
- Catégorie : FORM · Remodeler : étendre ou compresser
- Regroupe : Added tokens, fusion BPE, init par moyenne, entraînement en 2 phases
- Modèles concernés : LLM, encodeurs, seq2seq, tokens spéciaux VLM
- Calcul : plusieurs GPU
- Temps : jours
- Modèle :
poids nécessaires - Données : texte brut, documents
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ✅ ≤ 1B
- Code :
13-extension-vocabulaire/
Principe
Un tokenizer entraîné sur du web anglais découpe mal un nom propre inventé, un terme de chimie ou le coréen : un mot devient 4 à 10 tokens. Les conséquences :
- séquences plus longues, donc plus lentes et plus chères ;
- contexte utile plus court ;
- apprentissage plus difficile.
Étapes de run.py :
- Choisir les tokens : mots fréquents dans le corpus qui coûtent plusieurs tokens, classés par nombre de tokens économisés. Ou une liste explicite.
- Agrandir :
resize_token_embeddings. Initialiser chaque nouvel embedding à la moyenne des embeddings de ses anciens sous-tokens. Le modèle « comprend » ainsi déjà à peu près le nouveau token avant tout entraînement : la perte de départ est bien plus basse qu'avec une initialisation aléatoire (vocabulaire.init=aleatoirepour comparer). - Phase 1 : n'entraîner que les embeddings d'entrée et de sortie, à lr élevé. Le reste du réseau, gelé, n'est pas perturbé par des vecteurs encore mal placés.
- Phase 2 : entraînement complet à lr faible. En pratique, c'est un pré-entraînement continu (DATA01).
Mesures comparables entre tokenizers :
| Mesure | Ce qu'elle indique |
|---|---|
tokens_corpus_test |
Longueur du corpus de test en tokens : doit baisser |
bits_par_caractere |
Qualité de modélisation, indépendante du découpage. La perplexité par token ne se compare pas d'un tokenizer à l'autre |
Deux techniques d'ajout :
- added tokens (
run.py) : simple, idéal pour quelques centaines de termes de domaine ou des tokens spéciaux (<tool_call>). - fusion de BPE (
infra/entrainer_tokenizer.py) : apprendre un BPE sur la langue cible et fusionner ses règles dans le tokenizer existant. C'est la bonne méthode pour une langue entière (milliers de tokens).
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur (toutes familles) | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | Embeddings liés ou non liés gérés (tie_word_embeddings) |
| Encodeur / seq2seq | BERT, RoBERTa, T5, mBART | ✅ | Même procédure. Ajouter des termes médicaux à BERT est un classique |
| Modèle multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | Ajout de tokens spéciaux (<image>, <box>) : c'est ainsi que les VLM sont construits |
| Speech | Whisper | ⚠️ | Tokens de nouvelle langue possibles, peu courant |
| Tokenizer « byte-level » sans vocabulaire | ByT5, BLT | ❌ | Rien à étendre |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ |
Quand l'utiliser
- ✅ Nouvelle langue ou écriture mal couverte (fertilité > 2 à 3 tokens par mot).
- ✅ Domaine très technique avec des termes récurrents : molécules, codes produits, identifiants.
- ✅ Nouveaux tokens de contrôle : outils, rôles, modalités.
- ⚠️ Toujours suivi d'un entraînement conséquent : sans lui, les nouveaux tokens sont moins bien compris que l'ancien découpage.
- ❌ Pour quelques mots rares : inutile, le modèle apprend très bien leur découpage.
Pièges
- Taille multiple de 8 ou 64 :
resize_token_embeddings(pad_to_multiple_of=64)accélère les GPU. - Embeddings liés : sur Qwen2.5-0.5B, l'entrée et la sortie partagent la même matrice. Ne pas l'initialiser deux fois.
- Espaces et added tokens : un added token est extrait avant le BPE, y compris au milieu d'un mot plus long. Sans son espace initial, il laisse un token « espace » isolé devant chaque occurrence :
run.pyajouteAddedToken(" mot", normalized=False). Vérifier le découpage de « le mot » et de « lemot ». - Phase 1 sautée : des gradients énormes sur des vecteurs mal placés déstabilisent tout le réseau.
- Compatibilité : un modèle au vocabulaire modifié n'est plus fusionnable avec ses « frères » (EDIT08) ni utilisable en décodage spéculatif avec le draft d'origine.
Références
- Init par moyenne : Hewitt, Initializing New Word Embeddings for Pretrained Language Models (2021). Initialiser les nouveaux embeddings à la moyenne des existants.
- Chinese-LLaMA : Cui et al., Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca (2023). Étendre le vocabulaire de LLaMA au chinois, puis pré-entraîner.
- Swallow : Fujii et al., Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities (2024). Adapter un LLM au japonais : vocabulaire et pré-entraînement continu.
- WECHSEL : Minixhofer et al., WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models (2021). Initialiser les embeddings d'une nouvelle langue par alignement multilingue.
- FOCUS : Dobler & Melo, FOCUS: Effective Embedding Initialization for Monolingual Specialization of Multilingual Models (2023). Initialiser les nouveaux tokens à partir de tokens similaires.
- ZeTT : Minixhofer et al., Zero-Shot Tokenizer Transfer (2024). Hyper-réseau qui prédit les embeddings d'un nouveau tokenizer.
Dans le dépôt
Exemple, résultats mesurés et commandes : Extension de vocabulaire : exemple de code.