AmeliorIA

tekio.org

Statut des exemples

Chaque exemple de code porte un statut honnête. Un exemple démontré traite un besoin réel, part d'un modèle qui échoue sur ce besoin, et mesure un gain net dans les mêmes conditions avant et après. Un exemple non prouvé s'exécute, mais son résultat ne montre pas encore le gain de la méthode : la raison est écrite à côté. Les versions grosse infra (dossiers infra/) n'ont jamais été exécutées.

Ce qu'exige une preuve

Exigence Mise en œuvre
Mesure avant / après dans les mêmes conditions Même jeu de test, même décodage, même précision numérique, réponses assez longues pour ne pas être coupées
Jeu de test assez grand Plusieurs centaines d'exemples ; chaque exactitude affichée avec son intervalle de confiance à 95 % (Wilson)
Pas un coup de chance Comparaison appariée sur les mêmes questions : l'intervalle de la différence exclut 0 (bootstrap, test de McNemar) ; plusieurs graines pour les entraînements courts (make graines)
Effet attribué à la méthode Un témoin quand une autre cause est possible : même entraînement sans la modification, même modèle sans RAG ou sans outils
Pas de fuite Jeu de test jamais vu à l'entraînement
Non-régression Une mesure hors de la tâche visée quand la méthode modifie les poids

Bilan : 30 exemples locaux, dont 25 démontrés et 5 non prouvés ; versions grosse infra non testées.

DATA · Apprendre à partir de données

Entraîner les poids sur des exemples, texte brut ou paires question/réponse.

Méthode Exemple Statut Résultat mesuré Durée
DATA01 · Pré-entraînement continu principal démontré questions sur les personnages jamais questionnés 0,001 → 0,9996 ± 0,0007 ; témoin à une biographie 0,997 — perplexité générale 20,2 → 24,2 malgré le replay ; la diversité des formulations n'apporte presque rien sur un modèle pré-entraîné test : —
complet : 25 min
DATA01 · Pré-entraînement continu mlm-encodeur non prouvé perte MLM 2,38 → 1,09 — aucune tâche finale mesurée : la perte montre seulement que le modèle complète des fiches au même format test : 8 s
complet : 17 s
DATA02 · Fine-tuning supervisé principal démontré intentions 0,231 → 0,904 (n = 3 080) ; non-régression 0,955 → 0,765 (0,025 sans remélange) — oubli partiel malgré le remélange test : 21 s
complet : 29 min
DATA02 · Fine-tuning supervisé classification-encodeur démontré intentions 0,012 → 0,937 (n = 3 080), 85 s d'entraînement test : 10 s
complet : 2 min
DATA02 · Fine-tuning supervisé vision démontré CIFAR-10 0,10 → 0,97 test : 13 s
complet : 84 s
DATA02 · Fine-tuning supervisé seq2seq démontré ROUGE-L 0,291 → 0,432 (+0,141 [+0,127 ; +0,156], n = 500) — ROUGE-L mesure le recouvrement de mots, pas l'exactitude des faits test : 10 s
complet : 30 min
DATA02 · Fine-tuning supervisé audio-whisper démontré WER 0,232 → 0,181 (−0,051 ± 0,004, 3 graines) — anglais lu (LibriSpeech) 0,034 → 0,041 ; décodage de référence de Whisper nécessaire contre les boucles de répétition test : 32 s
complet : 15 min
DATA03 · PEFT (LoRA, QLoRA...) principal démontré intentions 0,229 → 0,891 (n = 3 080) ; non-régression 0,955 → 0,95 ; adaptateur désactivé 0,955 test : 23 s
complet : 32 min
DATA03 · PEFT (LoRA, QLoRA...) diffusion-lora démontré fidélité au sujet (DINO) 0,281 → 0,751 (p < 0,001) ; fidélité au prompt (CLIP) 0,300 → 0,293 (n.s.) — un seul sujet, références de mesure = photos d'entraînement ; pose et fond des photos souvent recopiés test : 20 s
complet : 8 min

SIGN · Apprendre à partir d'un signal

Apprendre d'un jugement, d'une récompense, d'un enseignant ou de ses propres sorties filtrées.

Méthode Exemple Statut Résultat mesuré Durée
SIGN04 · Optimisation des préférences principal non prouvé victoires contre le départ 0,533 ± 0,032 sur 3 graines (0,552 ; 0,496 ; 0,550) ; témoin SFT 0,380 ; non-régression 0,955 → 0,963 — gain net sur 2 graines sur 3 ; faible sur un modèle déjà aligné par ses auteurs test : 1 min
complet : 2 h
SIGN04 · Optimisation des préférences dpo-iteratif non prouvé victoires contre le départ 0,532 → 0,602 → 0,616 [0,573 ; 0,658] au fil des tours ; non-régression 0,955 → 0,935 (n.s.) — une graine ; juges de la même famille test : —
complet : 1 h 40
SIGN05 · RL en ligne principal démontré GSM8K (n = 1 319) : 0,411 → 0,465 (p = 0,0002) ; non-régression 0,955 → 0,955 test : 21 s
complet : 1 h 05
SIGN05 · RL en ligne modele-recompense démontré exactitude de préférence 0,485 → 0,98 test : 13 s
complet : 87 s
SIGN06 · Distillation principal démontré GSM8K (n = 1 319) : élève 0,411 → 0,451 ; témoin solutions humaines 0,302 ; enseignant 0,760 — gain modeste, l'élève reste loin de l'enseignant test : 16 s
complet : 1 h 30
SIGN06 · Distillation encodeur-classification démontré sans enseignant 0,758 ; distillé 0,839 test : 25 s
complet : 78 s
SIGN07 · Données synthétiques principal non prouvé une graine : GSM8K (n = 1 319) 0,363 → 0,402 (p = 0,004) ; témoin solutions humaines 0,332. Depuis le modèle instruct : 0,411 → 0,393 (n.s.) — mesure à refaire : texte parasite après la réponse dans les solutions et la mesure de départ test : 30 s
complet : —

EDIT · Chirurgie du modèle

Combiner des modèles, corriger, effacer ou orienter un savoir ou un comportement précis.

Méthode Exemple Statut Résultat mesuré Durée
EDIT08 · Fusion de modèles principal démontré GSM8K : base 0,07 ; Instruct 0,51 ; fusion DARE-TIES 0,55 — démontre le mécanisme (n = 100) ; scénario multi-compétences à faire test : 21 s
complet : 3 min
EDIT09 · Édition de connaissances principal démontré efficacité 0 → 1 ; généralisation 0 → 1 ; spécificité 1 → 1 — n = 4 faits test : 12 s
complet : 48 s
EDIT10 · Désapprentissage principal démontré oubli 1,0 → 0,0 ; rétention 1,0 → 0,925 ; perplexité 25,8 → 26,6 test : 20 s
complet : 59 s
EDIT11 · Pilotage par activations principal démontré taux de réponses positives 0,60 → 0,97 — n = 30 par condition test : 12 s
complet : 27 s

FORM · Remodeler : étendre ou compresser

Changer la forme du modèle (fenêtre de contexte, vocabulaire, couches, précision, taille).

Méthode Exemple Statut Résultat mesuré Durée
FORM12 · Extension de contexte principal démontré perplexité à 8 192 tokens 422 → 19 ; clé retrouvée à 7 000 tokens 0,3 → 1,0 — n = 10 clés test : 15 s
complet : 33 min
FORM13 · Extension de vocabulaire principal démontré tokens du texte breton −15,8 % (2,48 → 2,94 caractères par token, 3 graines) ; bits par caractère 1,602 contre 1,572 pour le témoin — à entraînement égal, qualité 2 % sous le témoin test : 23 s
complet : 13 min
FORM14 · Croissance d'architecture principal démontré breton 145,6 → 10,9 ; anglais 19,9 → 22,0 ; témoin au même niveau en breton : anglais 23,6 (écart 1,57 ± 0,21, 3 graines) — LLaMA Pro met 4 fois plus de pas pour atteindre ce niveau en breton et garde 22 % de paramètres en plus test : 13 s
complet : 55 min
FORM15 · Quantification principal démontré NF4 : 2 945 → 1 132 Mo ; perplexité 14,9 → 16,6 ; exactitude 0,99 → 0,96 test : 15 s
complet : 50 s
FORM15 · Quantification gguf-llamacpp démontré Q4_K_M : 940 Mo ; perplexité 13,9 → 14,5 test : 15 s
complet : 21 min
FORM16 · Élagage principal non prouvé tâche 0,88 → 0,34 → 0,66 (Wanda 50 %) ; 2:4 : 0,38 ; structuré : largeur 0,14, couches 0,09 — à 0,5B et 1 000 pas de cicatrisation, l'élagage ne paie pas : la tâche ne revient pas test : 21 s
complet : 20 min

EXEC · À l'exécution, sans toucher aux poids

Améliorer le résultat autour du modèle ; fonctionne aussi avec un modèle fermé via API.

Méthode Exemple Statut Résultat mesuré Durée
EXEC17 · Optimisation du prompt principal démontré intentions : zéro-shot 0,229 ; consigne OPRO 0,263 ; 8 exemples au hasard 0,312 ; 8 exemples les plus proches 0,816 (n = 3 080) — le vote des 8 exemples les plus proches, sans LLM, fait mieux (0,920) test : 18 s
complet : 8 min
EXEC18 · RAG principal démontré exactitude 0 → 1,0 ; rappel@3 = 1,0 test : 14 s
complet : 54 s
EXEC19 · Outils et agents principal démontré 0,35 → 0,95 test : 10 s
complet : 2 min
EXEC20 · Calcul à l'inférence principal démontré glouton 0,65 ; vote sur 16 réponses 0,77 ; oracle 0,93 test : 9 s
complet : 10 min