Statut des exemples
Chaque exemple de code porte un statut honnête. Un exemple démontré traite un besoin réel, part d'un modèle qui échoue sur ce besoin, et mesure un gain net dans les mêmes conditions avant et après. Un exemple non prouvé s'exécute, mais son résultat ne montre pas encore le gain de la méthode : la raison est écrite à côté. Les versions grosse infra (dossiers infra/) n'ont jamais été exécutées.
Ce qu'exige une preuve
| Exigence | Mise en œuvre |
|---|---|
| Mesure avant / après dans les mêmes conditions | Même jeu de test, même décodage, même précision numérique, réponses assez longues pour ne pas être coupées |
| Jeu de test assez grand | Plusieurs centaines d'exemples ; chaque exactitude affichée avec son intervalle de confiance à 95 % (Wilson) |
| Pas un coup de chance | Comparaison appariée sur les mêmes questions : l'intervalle de la différence exclut 0 (bootstrap, test de McNemar) ; plusieurs graines pour les entraînements courts (make graines) |
| Effet attribué à la méthode | Un témoin quand une autre cause est possible : même entraînement sans la modification, même modèle sans RAG ou sans outils |
| Pas de fuite | Jeu de test jamais vu à l'entraînement |
| Non-régression | Une mesure hors de la tâche visée quand la méthode modifie les poids |
Bilan : 30 exemples locaux, dont 25 démontrés et 5 non prouvés ; versions grosse infra non testées.
DATA · Apprendre à partir de données
Entraîner les poids sur des exemples, texte brut ou paires question/réponse.
| Méthode | Exemple | Statut | Résultat mesuré | Durée |
|---|---|---|---|---|
| DATA01 · Pré-entraînement continu | principal |
démontré | questions sur les personnages jamais questionnés 0,001 → 0,9996 ± 0,0007 ; témoin à une biographie 0,997 — perplexité générale 20,2 → 24,2 malgré le replay ; la diversité des formulations n'apporte presque rien sur un modèle pré-entraîné | test : — complet : 25 min |
| DATA01 · Pré-entraînement continu | mlm-encodeur |
non prouvé | perte MLM 2,38 → 1,09 — aucune tâche finale mesurée : la perte montre seulement que le modèle complète des fiches au même format | test : 8 s complet : 17 s |
| DATA02 · Fine-tuning supervisé | principal |
démontré | intentions 0,231 → 0,904 (n = 3 080) ; non-régression 0,955 → 0,765 (0,025 sans remélange) — oubli partiel malgré le remélange | test : 21 s complet : 29 min |
| DATA02 · Fine-tuning supervisé | classification-encodeur |
démontré | intentions 0,012 → 0,937 (n = 3 080), 85 s d'entraînement | test : 10 s complet : 2 min |
| DATA02 · Fine-tuning supervisé | vision |
démontré | CIFAR-10 0,10 → 0,97 | test : 13 s complet : 84 s |
| DATA02 · Fine-tuning supervisé | seq2seq |
démontré | ROUGE-L 0,291 → 0,432 (+0,141 [+0,127 ; +0,156], n = 500) — ROUGE-L mesure le recouvrement de mots, pas l'exactitude des faits | test : 10 s complet : 30 min |
| DATA02 · Fine-tuning supervisé | audio-whisper |
démontré | WER 0,232 → 0,181 (−0,051 ± 0,004, 3 graines) — anglais lu (LibriSpeech) 0,034 → 0,041 ; décodage de référence de Whisper nécessaire contre les boucles de répétition | test : 32 s complet : 15 min |
| DATA03 · PEFT (LoRA, QLoRA...) | principal |
démontré | intentions 0,229 → 0,891 (n = 3 080) ; non-régression 0,955 → 0,95 ; adaptateur désactivé 0,955 | test : 23 s complet : 32 min |
| DATA03 · PEFT (LoRA, QLoRA...) | diffusion-lora |
démontré | fidélité au sujet (DINO) 0,281 → 0,751 (p < 0,001) ; fidélité au prompt (CLIP) 0,300 → 0,293 (n.s.) — un seul sujet, références de mesure = photos d'entraînement ; pose et fond des photos souvent recopiés | test : 20 s complet : 8 min |
SIGN · Apprendre à partir d'un signal
Apprendre d'un jugement, d'une récompense, d'un enseignant ou de ses propres sorties filtrées.
| Méthode | Exemple | Statut | Résultat mesuré | Durée |
|---|---|---|---|---|
| SIGN04 · Optimisation des préférences | principal |
non prouvé | victoires contre le départ 0,533 ± 0,032 sur 3 graines (0,552 ; 0,496 ; 0,550) ; témoin SFT 0,380 ; non-régression 0,955 → 0,963 — gain net sur 2 graines sur 3 ; faible sur un modèle déjà aligné par ses auteurs | test : 1 min complet : 2 h |
| SIGN04 · Optimisation des préférences | dpo-iteratif |
non prouvé | victoires contre le départ 0,532 → 0,602 → 0,616 [0,573 ; 0,658] au fil des tours ; non-régression 0,955 → 0,935 (n.s.) — une graine ; juges de la même famille | test : — complet : 1 h 40 |
| SIGN05 · RL en ligne | principal |
démontré | GSM8K (n = 1 319) : 0,411 → 0,465 (p = 0,0002) ; non-régression 0,955 → 0,955 | test : 21 s complet : 1 h 05 |
| SIGN05 · RL en ligne | modele-recompense |
démontré | exactitude de préférence 0,485 → 0,98 | test : 13 s complet : 87 s |
| SIGN06 · Distillation | principal |
démontré | GSM8K (n = 1 319) : élève 0,411 → 0,451 ; témoin solutions humaines 0,302 ; enseignant 0,760 — gain modeste, l'élève reste loin de l'enseignant | test : 16 s complet : 1 h 30 |
| SIGN06 · Distillation | encodeur-classification |
démontré | sans enseignant 0,758 ; distillé 0,839 | test : 25 s complet : 78 s |
| SIGN07 · Données synthétiques | principal |
non prouvé | une graine : GSM8K (n = 1 319) 0,363 → 0,402 (p = 0,004) ; témoin solutions humaines 0,332. Depuis le modèle instruct : 0,411 → 0,393 (n.s.) — mesure à refaire : texte parasite après la réponse dans les solutions et la mesure de départ | test : 30 s complet : — |
EDIT · Chirurgie du modèle
Combiner des modèles, corriger, effacer ou orienter un savoir ou un comportement précis.
| Méthode | Exemple | Statut | Résultat mesuré | Durée |
|---|---|---|---|---|
| EDIT08 · Fusion de modèles | principal |
démontré | GSM8K : base 0,07 ; Instruct 0,51 ; fusion DARE-TIES 0,55 — démontre le mécanisme (n = 100) ; scénario multi-compétences à faire | test : 21 s complet : 3 min |
| EDIT09 · Édition de connaissances | principal |
démontré | efficacité 0 → 1 ; généralisation 0 → 1 ; spécificité 1 → 1 — n = 4 faits | test : 12 s complet : 48 s |
| EDIT10 · Désapprentissage | principal |
démontré | oubli 1,0 → 0,0 ; rétention 1,0 → 0,925 ; perplexité 25,8 → 26,6 | test : 20 s complet : 59 s |
| EDIT11 · Pilotage par activations | principal |
démontré | taux de réponses positives 0,60 → 0,97 — n = 30 par condition | test : 12 s complet : 27 s |
FORM · Remodeler : étendre ou compresser
Changer la forme du modèle (fenêtre de contexte, vocabulaire, couches, précision, taille).
| Méthode | Exemple | Statut | Résultat mesuré | Durée |
|---|---|---|---|---|
| FORM12 · Extension de contexte | principal |
démontré | perplexité à 8 192 tokens 422 → 19 ; clé retrouvée à 7 000 tokens 0,3 → 1,0 — n = 10 clés | test : 15 s complet : 33 min |
| FORM13 · Extension de vocabulaire | principal |
démontré | tokens du texte breton −15,8 % (2,48 → 2,94 caractères par token, 3 graines) ; bits par caractère 1,602 contre 1,572 pour le témoin — à entraînement égal, qualité 2 % sous le témoin | test : 23 s complet : 13 min |
| FORM14 · Croissance d'architecture | principal |
démontré | breton 145,6 → 10,9 ; anglais 19,9 → 22,0 ; témoin au même niveau en breton : anglais 23,6 (écart 1,57 ± 0,21, 3 graines) — LLaMA Pro met 4 fois plus de pas pour atteindre ce niveau en breton et garde 22 % de paramètres en plus | test : 13 s complet : 55 min |
| FORM15 · Quantification | principal |
démontré | NF4 : 2 945 → 1 132 Mo ; perplexité 14,9 → 16,6 ; exactitude 0,99 → 0,96 | test : 15 s complet : 50 s |
| FORM15 · Quantification | gguf-llamacpp |
démontré | Q4_K_M : 940 Mo ; perplexité 13,9 → 14,5 | test : 15 s complet : 21 min |
| FORM16 · Élagage | principal |
non prouvé | tâche 0,88 → 0,34 → 0,66 (Wanda 50 %) ; 2:4 : 0,38 ; structuré : largeur 0,14, couches 0,09 — à 0,5B et 1 000 pas de cicatrisation, l'élagage ne paie pas : la tâche ne revient pas | test : 21 s complet : 20 min |
EXEC · À l'exécution, sans toucher aux poids
Améliorer le résultat autour du modèle ; fonctionne aussi avec un modèle fermé via API.
| Méthode | Exemple | Statut | Résultat mesuré | Durée |
|---|---|---|---|---|
| EXEC17 · Optimisation du prompt | principal |
démontré | intentions : zéro-shot 0,229 ; consigne OPRO 0,263 ; 8 exemples au hasard 0,312 ; 8 exemples les plus proches 0,816 (n = 3 080) — le vote des 8 exemples les plus proches, sans LLM, fait mieux (0,920) | test : 18 s complet : 8 min |
| EXEC18 · RAG | principal |
démontré | exactitude 0 → 1,0 ; rappel@3 = 1,0 | test : 14 s complet : 54 s |
| EXEC19 · Outils et agents | principal |
démontré | 0,35 → 0,95 | test : 10 s complet : 2 min |
| EXEC20 · Calcul à l'inférence | principal |
démontré | glouton 0,65 ; vote sur 16 réponses 0,77 ; oracle 0,93 | test : 9 s complet : 10 min |