Données synthétiques
Faire produire les données d'entraînement par un modèle (lui-même ou un autre), les filtrer, puis entraîner dessus.
- Identifiant : SIGN07
- Catégorie : SIGN · Apprendre à partir d'un signal
- Regroupe : Rejection sampling (RFT/STaR), Self-Instruct, critique-révision (Constitutional AI)
- Modèles concernés : LLM ; données pour classifieurs, VLM, diffusion
- Calcul : 1 GPU (entraînement)
- Temps : heures
- Modèle :
poids nécessaires - Données : réponses vérifiables
- GPU local 12 Go (exemple de code) : ✅ ≤ 1B
- Code :
07-donnees-synthetiques/
Principe
Toutes les stratégies suivent le même pipeline en trois temps. Seule l'étape de génération change (--set strategie=...) :
générer -> filtrer / noter -> SFT (dossier 02, ou LoRA 03)
strategie |
Génération | Filtre |
|---|---|---|
rejet (RFT / STaR) |
Le modèle lui-même produit k solutions par question | On garde les solutions vérifiées justes |
self_instruct |
Un modèle générateur invente de nouvelles questions à partir d'exemples, puis y répond | Réponse vérifiable, déduplication, format valide |
critique_revision |
Le modèle répond, se critique selon un principe écrit, puis réécrit sa réponse | On garde la révision (entraînement sur « réponse révisée ») |
La clé est le filtre. Un modèle qui s'entraîne sur ses propres sorties non filtrées stagne ou se dégrade (model collapse). Filtrer par un vérificateur, un juge ou un modèle de récompense ne garde que ses meilleures sorties : le modèle s'améliore ainsi « par lui-même ». C'est le même ressort que le RL en ligne (SIGN05), en version hors ligne, plus simple et plus stable.
Lien avec la distillation (SIGN06) : si le générateur est un modèle plus fort que l'élève, self_instruct et rejet deviennent de la distillation de séquences.
Modèles concernés
| Type de modèle | Exemples de modèles | Applicable | Remarques |
|---|---|---|---|
| LLM décodeur instruct | Llama 3, Qwen2.5, Mistral 7B, Gemma 2 | ✅ cas principal | Le modèle doit réussir la tâche au moins de temps en temps (rejet), ou savoir suivre des consignes (critique_revision) |
| LLM de base | Llama-3.1-8B, Qwen2.5-7B, Mistral-7B (versions de base) | ⚠️ | Utiliser un générateur instruct distinct (generateur.nom) |
| Encodeur / classifieur | BERT, RoBERTa, ModernBERT | ✅ | Un LLM génère des textes étiquetés pour entraîner un petit classifieur (variante courante de self_instruct, voir Grosse infra) |
| Vision / multimodal | Qwen2.5-VL, LLaVA, Idefics | ✅ | Légendes générées par un VLM et filtrées par CLIP-score (recette de nombreux jeux image-texte) |
| Diffusion | Stable Diffusion, SDXL, Flux | ✅ | Prompts réécrits par un LLM (légendes synthétiques détaillées, recette DALL-E 3) |
| Modèle fermé via API | GPT-4o, Claude, Gemini | ✅ comme générateur | Générer avec GPT/Claude/Gemini pour entraîner un modèle ouvert, en respectant leurs conditions d'utilisation |
Quand l'utiliser
- ✅ Peu ou pas de données annotées, mais une tâche vérifiable ou un bon générateur disponible.
- ✅ Spécialiser un petit modèle bon marché à partir d'un gros (souvent la méthode la plus rentable en production).
- ✅ Aligner sur des principes écrits sans annotateurs (
critique_revision). - ❌ Sans filtre fiable : le risque de dégradation l'emporte.
Pièges
- Model collapse : jamais sans filtre. Garder une part de données réelles.
- Faux positifs du vérificateur : bonne réponse obtenue par un raisonnement faux. Préférer plusieurs solutions justes et diverses.
- Biais vers le facile : on ne garde que les questions déjà résolues, souvent celles que le modèle réussissait sans aide. Il faut des solutions aux questions difficiles (plus d'échantillons, rationalisation STaR).
- Diversité : Self-Instruct converge vite vers les mêmes questions. Dédupliquer (n-grammes, embeddings), varier les exemples d'amorce.
- Contamination : vérifier que les données générées ne recopient pas le jeu de test.
- Licences : les conditions de certains fournisseurs interdisent d'entraîner un modèle concurrent sur leurs sorties.
Références
- STaR : Zelikman et al., STaR: Bootstrapping Reasoning With Reasoning (2022). Garder les raisonnements qui mènent à la bonne réponse, puis réentraîner.
- RFT : Yuan et al., Scaling Relationship on Learning Mathematical Reasoning with Large Language Models (2023). Rejection sampling fine-tuning sur le raisonnement mathématique.
- ReST-EM : Singh et al., Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models (2023). Boucle génération, filtrage, entraînement à grande échelle.
- Self-Instruct : Wang et al., Self-Instruct: Aligning Language Models with Self-Generated Instructions (2022). Le modèle invente de nouvelles instructions à partir d'exemples.
- Evol-Instruct (WizardLM) : Xu et al., WizardLM: Empowering large pre-trained language models to follow complex instructions (2023). Complexifier progressivement les instructions générées.
- Model collapse : Shumailov et al., The Curse of Recursion: Training on Generated Data Makes Models Forget (2023). Entraîner sur ses propres sorties non filtrées dégrade le modèle.
Dans le dépôt
Exemple, résultats mesurés et commandes : Données synthétiques : exemple de code.