Pré-entraînement continu
Poursuivre l'entraînement « prédire le token suivant » d'un modèle déjà pré-entraîné, sur un corpus brut du domaine ou de la langue visés.
- Identifiant : DATA01
- Catégorie : DATA · Apprendre à partir de données
- Regroupe : Continued pretraining, DAPT, adaptation à une langue, MLM continu
- Modèles concernés : LLM de base ; encodeurs (variante MLM) ; seq2seq, vision, audio (même principe)
- Calcul : plusieurs GPU
- Temps : jours
- Modèle :
poids nécessaires - Données : texte brut, documents
- Contre l'oubli : remélanger du général
- GPU local 12 Go (exemple de code) : ⚠️ ≤ 1,5B · ☁️
- Code :
01-pre-entrainement-continu/
Principe
On reprend exactement l'objectif du pré-entraînement initial, sans questions ni réponses : du texte brut du domaine visé. Le modèle absorbe le vocabulaire, le style et les connaissances du corpus : textes médicaux, juridiques, code interne, une langue peu représentée.
Trois réglages font la différence :
- Learning rate faible : 10 à 100 fois plus faible qu'au pré-entraînement initial, avec un warmup puis une décroissance cosinus.
- Replay : on mélange 5 à 30 % de texte général au corpus du domaine. Sans ça, l'oubli catastrophique est quasi certain (voir docs/oubli-catastrophique.md).
- Questions-réponses mêlées au corpus : pour qu'un fait lu dans un document soit extractable par une question, le modèle doit voir, pendant l'entraînement, des questions-réponses sur une partie des sujets. Il généralise alors ce format aux autres sujets.
- Diversité des formulations : sur un modèle entraîné de zéro, un fait vu sous une seule formulation est appris par cœur mais pas extractable (Physics of Language Models 3.1). Un modèle déjà pré-entraîné y est beaucoup moins sensible : le témoin de l'exemple, à une seule biographie par personnage, fait presque aussi bien.
Le pré-entraînement continu est en général suivi d'un SFT (DATA02) pour récupérer le comportement d'assistant.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur de base | LLaMA, Qwen, Mistral, Gemma, Phi, GPT-2, SmolLM | ✅ cas principal | run.py, tout AutoModelForCausalLM |
| LLM instruct / chat | Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct | ⚠️ | Fonctionne, mais le format de chat se dégrade. Préférer : base -> pré-entraînement continu -> SFT, ou fusionner ensuite avec l'instruct (EDIT08) |
| Encodeur | BERT, RoBERTa, DeBERTa, CamemBERT | ✅ | variantes/mlm-encodeur : objectif MLM |
| Encodeur-décodeur | T5, BART | ✅ | Même idée avec l'objectif de débruitage d'origine (span corruption) |
| Vision / audio | ViT, DINOv2, wav2vec2 | ✅ | Objectifs auto-supervisés d'origine (MAE, DINO, contrastif) sur images ou sons du domaine |
| Diffusion | Stable Diffusion, SDXL, Flux | ⚠️ | Équivaut à un fine-tuning complet sur les images du domaine (voir 03 variante diffusion) |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ❌ | Pas d'accès aux poids |
Quand l'utiliser
- ✅ Le domaine a un vocabulaire et une distribution de texte très différents du web (biomédical, juridique, langue rare, code propriétaire).
- ✅ Vous avez beaucoup de texte brut non annoté : de 10 M à plusieurs dizaines de milliards de tokens.
- ❌ Pour des connaissances qui changent souvent ou doivent être citées : préférer le RAG (EXEC18).
- ❌ Pour changer un format ou un comportement : préférer le SFT (DATA02) ou LoRA (DATA03).
Pièges
- Oubli catastrophique : suivre
perplexite_generale, garder du replay. - Tokenizer inadapté : une langue ou un domaine mal découpés en tokens coûtent cher et apprennent mal. Voir l'extension de vocabulaire (FORM13).
- Re-warmup : repartir avec le lr maximal provoque un pic de perte. Un warmup court suffit.
- Qualité des données : dédupliquer et filtrer le corpus compte plus que sa taille.
Références
- DAPT / TAPT : Gururangan et al., Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (2020). Poursuivre le pré-entraînement sur le domaine ou la tâche.
- Replay et re-warming : Ibrahim et al., Simple and Scalable Strategies to Continually Pre-train Large Language Models (2024). Lr, warmup et replay pour pré-entraîner en continu sans oubli.
- Paraphrases : Allen-Zhu & Li, Physics of Language Models: Part 3.1, Knowledge Storage and Extraction (2023). Plusieurs formulations d'un fait pour qu'il soit réutilisable en question-réponse.
Dans le dépôt
Exemple, résultats mesurés et commandes : Pré-entraînement continu : exemple de code.