AmeliorIA

tekio.org

Données synthétiques

Faire produire les données d'entraînement par un modèle (lui-même ou un autre), les filtrer, puis entraîner dessus.

  • Identifiant : SIGN07
  • Catégorie : SIGN · Apprendre à partir d'un signal
  • Regroupe : Rejection sampling (RFT/STaR), Self-Instruct, critique-révision (Constitutional AI)
  • Modèles concernés : LLM ; données pour classifieurs, VLM, diffusion
  • Calcul : 1 GPU (entraînement)
  • Temps : heures
  • Modèle : poids nécessaires
  • Données : réponses vérifiables
  • GPU local 12 Go (exemple de code) : ✅ ≤ 1B
  • Code : 07-donnees-synthetiques/

Principe

Toutes les stratégies suivent le même pipeline en trois temps. Seule l'étape de génération change (--set strategie=...) :

générer  ->  filtrer / noter  ->  SFT (dossier 02, ou LoRA 03)
strategie Génération Filtre
rejet (RFT / STaR) Le modèle lui-même produit k solutions par question On garde les solutions vérifiées justes
self_instruct Un modèle générateur invente de nouvelles questions à partir d'exemples, puis y répond Réponse vérifiable, déduplication, format valide
critique_revision Le modèle répond, se critique selon un principe écrit, puis réécrit sa réponse On garde la révision (entraînement sur « réponse révisée »)

La clé est le filtre. Un modèle qui s'entraîne sur ses propres sorties non filtrées stagne ou se dégrade (model collapse). Filtrer par un vérificateur, un juge ou un modèle de récompense ne garde que ses meilleures sorties : le modèle s'améliore ainsi « par lui-même ». C'est le même ressort que le RL en ligne (SIGN05), en version hors ligne, plus simple et plus stable.

Lien avec la distillation (SIGN06) : si le générateur est un modèle plus fort que l'élève, self_instruct et rejet deviennent de la distillation de séquences.

Modèles concernés

Type de modèle Exemples de modèles Applicable Remarques
LLM décodeur instruct Llama 3, Qwen2.5, Mistral 7B, Gemma 2 ✅ cas principal Le modèle doit réussir la tâche au moins de temps en temps (rejet), ou savoir suivre des consignes (critique_revision)
LLM de base Llama-3.1-8B, Qwen2.5-7B, Mistral-7B (versions de base) ⚠️ Utiliser un générateur instruct distinct (generateur.nom)
Encodeur / classifieur BERT, RoBERTa, ModernBERT ✅ Un LLM génère des textes étiquetés pour entraîner un petit classifieur (variante courante de self_instruct, voir Grosse infra)
Vision / multimodal Qwen2.5-VL, LLaVA, Idefics ✅ Légendes générées par un VLM et filtrées par CLIP-score (recette de nombreux jeux image-texte)
Diffusion Stable Diffusion, SDXL, Flux ✅ Prompts réécrits par un LLM (légendes synthétiques détaillées, recette DALL-E 3)
Modèle fermé via API GPT-4o, Claude, Gemini ✅ comme générateur Générer avec GPT/Claude/Gemini pour entraîner un modèle ouvert, en respectant leurs conditions d'utilisation

Quand l'utiliser

  • ✅ Peu ou pas de données annotées, mais une tâche vérifiable ou un bon générateur disponible.
  • ✅ Spécialiser un petit modèle bon marché à partir d'un gros (souvent la méthode la plus rentable en production).
  • ✅ Aligner sur des principes écrits sans annotateurs (critique_revision).
  • ❌ Sans filtre fiable : le risque de dégradation l'emporte.

Pièges

  • Model collapse : jamais sans filtre. Garder une part de données réelles.
  • Faux positifs du vérificateur : bonne réponse obtenue par un raisonnement faux. Préférer plusieurs solutions justes et diverses.
  • Biais vers le facile : on ne garde que les questions déjà résolues, souvent celles que le modèle réussissait sans aide. Il faut des solutions aux questions difficiles (plus d'échantillons, rationalisation STaR).
  • Diversité : Self-Instruct converge vite vers les mêmes questions. Dédupliquer (n-grammes, embeddings), varier les exemples d'amorce.
  • Contamination : vérifier que les données générées ne recopient pas le jeu de test.
  • Licences : les conditions de certains fournisseurs interdisent d'entraîner un modèle concurrent sur leurs sorties.

Références

Dans le dépôt

Exemple, résultats mesurés et commandes : Données synthétiques : exemple de code.