AmeliorIA

tekio.org

Extension de vocabulaire

Ajouter au tokenizer des tokens pour un domaine ou une langue mal couverts, agrandir les matrices d'embedding, initialiser les nouveaux vecteurs intelligemment, puis entraîner.

  • Identifiant : FORM13
  • Catégorie : FORM · Remodeler : étendre ou compresser
  • Regroupe : Added tokens, fusion BPE, init par moyenne, entraînement en 2 phases
  • Modèles concernés : LLM, encodeurs, seq2seq, tokens spéciaux VLM
  • Calcul : plusieurs GPU
  • Temps : jours
  • Modèle : poids nécessaires
  • Données : texte brut, documents
  • Contre l'oubli : remélanger du général
  • GPU local 12 Go (exemple de code) : ✅ ≤ 1B
  • Code : 13-extension-vocabulaire/

Principe

Un tokenizer entraîné sur du web anglais découpe mal un nom propre inventé, un terme de chimie ou le coréen : un mot devient 4 à 10 tokens. Les conséquences :

  • séquences plus longues, donc plus lentes et plus chères ;
  • contexte utile plus court ;
  • apprentissage plus difficile.

Étapes de run.py :

  1. Choisir les tokens : mots fréquents dans le corpus qui coûtent plusieurs tokens, classés par nombre de tokens économisés. Ou une liste explicite.
  2. Agrandir : resize_token_embeddings. Initialiser chaque nouvel embedding à la moyenne des embeddings de ses anciens sous-tokens. Le modèle « comprend » ainsi déjà à peu près le nouveau token avant tout entraînement : la perte de départ est bien plus basse qu'avec une initialisation aléatoire (vocabulaire.init=aleatoire pour comparer).
  3. Phase 1 : n'entraîner que les embeddings d'entrée et de sortie, à lr élevé. Le reste du réseau, gelé, n'est pas perturbé par des vecteurs encore mal placés.
  4. Phase 2 : entraînement complet à lr faible. En pratique, c'est un pré-entraînement continu (DATA01).

Mesures comparables entre tokenizers :

Mesure Ce qu'elle indique
tokens_corpus_test Longueur du corpus de test en tokens : doit baisser
bits_par_caractere Qualité de modélisation, indépendante du découpage. La perplexité par token ne se compare pas d'un tokenizer à l'autre

Deux techniques d'ajout :

  • added tokens (run.py) : simple, idéal pour quelques centaines de termes de domaine ou des tokens spéciaux (<tool_call>).
  • fusion de BPE (infra/entrainer_tokenizer.py) : apprendre un BPE sur la langue cible et fusionner ses règles dans le tokenizer existant. C'est la bonne méthode pour une langue entière (milliers de tokens).

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur (toutes familles) Llama 3, Qwen2.5, Mistral 7B, Gemma 2 ✅ cas principal Embeddings liés ou non liés gérés (tie_word_embeddings)
Encodeur / seq2seq BERT, RoBERTa, T5, mBART ✅ Même procédure. Ajouter des termes médicaux à BERT est un classique
Modèle multimodal Qwen2.5-VL, LLaVA, Idefics ✅ Ajout de tokens spéciaux (<image>, <box>) : c'est ainsi que les VLM sont construits
Speech Whisper ⚠️ Tokens de nouvelle langue possibles, peu courant
Tokenizer « byte-level » sans vocabulaire ByT5, BLT ❌ Rien à étendre
Modèle fermé via API GPT-4o, Claude, Gemini ❌

Quand l'utiliser

  • ✅ Nouvelle langue ou écriture mal couverte (fertilité > 2 à 3 tokens par mot).
  • ✅ Domaine très technique avec des termes récurrents : molécules, codes produits, identifiants.
  • ✅ Nouveaux tokens de contrôle : outils, rôles, modalités.
  • ⚠️ Toujours suivi d'un entraînement conséquent : sans lui, les nouveaux tokens sont moins bien compris que l'ancien découpage.
  • ❌ Pour quelques mots rares : inutile, le modèle apprend très bien leur découpage.

Pièges

  • Taille multiple de 8 ou 64 : resize_token_embeddings(pad_to_multiple_of=64) accélère les GPU.
  • Embeddings liés : sur Qwen2.5-0.5B, l'entrée et la sortie partagent la même matrice. Ne pas l'initialiser deux fois.
  • Espaces et added tokens : un added token est extrait avant le BPE, y compris au milieu d'un mot plus long. Sans son espace initial, il laisse un token « espace » isolé devant chaque occurrence : run.py ajoute AddedToken(" mot", normalized=False). Vérifier le découpage de « le mot » et de « lemot ».
  • Phase 1 sautée : des gradients énormes sur des vecteurs mal placés déstabilisent tout le réseau.
  • Compatibilité : un modèle au vocabulaire modifié n'est plus fusionnable avec ses « frères » (EDIT08) ni utilisable en décodage spéculatif avec le draft d'origine.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Extension de vocabulaire : exemple de code.