AmeliorIA

tekio.org

Pré-entraînement continu

Poursuivre l'entraînement « prédire le token suivant » d'un modèle déjà pré-entraîné, sur un corpus brut du domaine ou de la langue visés.

  • Identifiant : DATA01
  • Catégorie : DATA · Apprendre à partir de données
  • Regroupe : Continued pretraining, DAPT, adaptation à une langue, MLM continu
  • Modèles concernés : LLM de base ; encodeurs (variante MLM) ; seq2seq, vision, audio (même principe)
  • Calcul : plusieurs GPU
  • Temps : jours
  • Modèle : poids nécessaires
  • Données : texte brut, documents
  • Contre l'oubli : remélanger du général
  • GPU local 12 Go (exemple de code) : ⚠️ ≤ 1,5B · ☁️
  • Code : 01-pre-entrainement-continu/

Principe

On reprend exactement l'objectif du pré-entraînement initial, sans questions ni réponses : du texte brut du domaine visé. Le modèle absorbe le vocabulaire, le style et les connaissances du corpus : textes médicaux, juridiques, code interne, une langue peu représentée.

Trois réglages font la différence :

  • Learning rate faible : 10 à 100 fois plus faible qu'au pré-entraînement initial, avec un warmup puis une décroissance cosinus.
  • Replay : on mélange 5 à 30 % de texte général au corpus du domaine. Sans ça, l'oubli catastrophique est quasi certain (voir docs/oubli-catastrophique.md).
  • Questions-réponses mêlées au corpus : pour qu'un fait lu dans un document soit extractable par une question, le modèle doit voir, pendant l'entraînement, des questions-réponses sur une partie des sujets. Il généralise alors ce format aux autres sujets.
  • Diversité des formulations : sur un modèle entraîné de zéro, un fait vu sous une seule formulation est appris par cœur mais pas extractable (Physics of Language Models 3.1). Un modèle déjà pré-entraîné y est beaucoup moins sensible : le témoin de l'exemple, à une seule biographie par personnage, fait presque aussi bien.

Le pré-entraînement continu est en général suivi d'un SFT (DATA02) pour récupérer le comportement d'assistant.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur de base LLaMA, Qwen, Mistral, Gemma, Phi, GPT-2, SmolLM ✅ cas principal run.py, tout AutoModelForCausalLM
LLM instruct / chat Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct ⚠️ Fonctionne, mais le format de chat se dégrade. Préférer : base -> pré-entraînement continu -> SFT, ou fusionner ensuite avec l'instruct (EDIT08)
Encodeur BERT, RoBERTa, DeBERTa, CamemBERT ✅ variantes/mlm-encodeur : objectif MLM
Encodeur-décodeur T5, BART ✅ Même idée avec l'objectif de débruitage d'origine (span corruption)
Vision / audio ViT, DINOv2, wav2vec2 ✅ Objectifs auto-supervisés d'origine (MAE, DINO, contrastif) sur images ou sons du domaine
Diffusion Stable Diffusion, SDXL, Flux ⚠️ Équivaut à un fine-tuning complet sur les images du domaine (voir 03 variante diffusion)
Modèle fermé via API GPT-4o, Claude, Gemini ❌ Pas d'accès aux poids

Quand l'utiliser

  • ✅ Le domaine a un vocabulaire et une distribution de texte très différents du web (biomédical, juridique, langue rare, code propriétaire).
  • ✅ Vous avez beaucoup de texte brut non annoté : de 10 M à plusieurs dizaines de milliards de tokens.
  • ❌ Pour des connaissances qui changent souvent ou doivent être citées : préférer le RAG (EXEC18).
  • ❌ Pour changer un format ou un comportement : préférer le SFT (DATA02) ou LoRA (DATA03).

Pièges

  • Oubli catastrophique : suivre perplexite_generale, garder du replay.
  • Tokenizer inadapté : une langue ou un domaine mal découpés en tokens coûtent cher et apprennent mal. Voir l'extension de vocabulaire (FORM13).
  • Re-warmup : repartir avec le lr maximal provoque un pic de perte. Un warmup court suffit.
  • Qualité des données : dédupliquer et filtrer le corpus compte plus que sa taille.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Pré-entraînement continu : exemple de code.