AmeliorIA

tekio.org

Travail en cours

Le dépôt compte 30 exemples locaux, qui tournent sur un seul GPU de 12 Go, et 20 versions « grosse infra » pour le cloud. 25 exemples locaux sont démontrés ; le travail en cours porte sur les 5 autres, pour les démontrer en local. Les versions cloud attendent une machine multi-GPU : si vous pouvez en prêter une, contactez-moi sur GitHub.

Un exemple est démontré quand le gain de sa méthode est mesuré et net : modèle de départ qui échoue, même mesure avant et après, écart au-delà de l'intervalle de confiance. Critères et détail des durées : Statut des exemples.

En local : démontrés (25)

Le gain de la méthode est mesuré et net, sur le GPU local de 12 Go.

Exemple Ce qu'il fait Résultat mesuré
DATA01 · Pré-entraînement continu · code Poursuit l'entraînement de Qwen2.5-0.5B sur les biographies de 400 personnages inventés et les questions-réponses de la moitié d'entre eux (protocole Physics of Language Models 3.1), puis l'interroge sur l'autre moitié, 3 graines. questions sur les personnages jamais questionnés 0,001 → 0,9996 ± 0,0007 ; témoin à une biographie 0,997
DATA02 · Fine-tuning supervisé · code Fine-tuning complet de Qwen2.5-0.5B-Instruct pour router des messages de clients bancaires vers 77 intentions (banking77), avec remélange contre l'oubli. intentions 0,231 → 0,904 (n = 3 080) ; non-régression 0,955 → 0,765 (0,025 sans remélange)
DATA02 · Fine-tuning supervisé · classification-encodeur · code Entraîne ModernBERT-base à classer les mêmes messages bancaires en 77 intentions (banking77). intentions 0,012 → 0,937 (n = 3 080), 85 s d'entraînement
DATA02 · Fine-tuning supervisé · vision · code Entraîne un ViT à classer des photos en 10 catégories (CIFAR-10). CIFAR-10 0,10 → 0,97
DATA02 · Fine-tuning supervisé · seq2seq · code Fine-tune Flan-T5-base (encodeur-décodeur) pour résumer des dialogues de service client (DialogSum). ROUGE-L 0,291 → 0,432 (+0,141 [+0,127 ; +0,156], n = 500)
DATA02 · Fine-tuning supervisé · audio-whisper · code Fine-tune Whisper-small sur des conversations en anglais de 40 accents (EdAcc), mesure sur d'autres locuteurs, 3 graines. WER 0,232 → 0,181 (−0,051 ± 0,004, 3 graines)
DATA03 · PEFT (LoRA, QLoRA...) · code Entraîne un adaptateur LoRA sur Qwen2.5-0.5B-Instruct, mêmes données que le fine-tuning complet (banking77, remélange compris), pour comparer gain et oubli. intentions 0,229 → 0,891 (n = 3 080) ; non-régression 0,955 → 0,95 ; adaptateur désactivé 0,955
DATA03 · PEFT (LoRA, QLoRA...) · diffusion-lora · code Apprend un chien précis à Stable Diffusion 1.5 à partir de 5 photos (DreamBooth-LoRA), mesuré comme dans le papier DreamBooth : similarité DINO au sujet et CLIP au prompt, 4 prompts × 8 graines appariés avant/après. fidélité au sujet (DINO) 0,281 → 0,751 (p < 0,001) ; fidélité au prompt (CLIP) 0,300 → 0,293 (n.s.)
SIGN05 · RL en ligne · code RL (DAPO) sur 800 problèmes de GSM8K : le modèle est récompensé quand sa réponse finale est juste, sans solution rédigée. GSM8K (n = 1 319) : 0,411 → 0,465 (p = 0,0002) ; non-régression 0,955 → 0,955
SIGN05 · RL en ligne · modele-recompense · code Entraîne un modèle de récompense à préférer la bonne réponse dans des paires. exactitude de préférence 0,485 → 0,98
SIGN06 · Distillation · code Qwen2.5-3B-Instruct résout des problèmes de GSM8K ; Qwen2.5-0.5B-Instruct est entraîné sur ses solutions justes. Témoin : même entraînement sur les solutions humaines du jeu. GSM8K (n = 1 319) : élève 0,411 → 0,451 ; témoin solutions humaines 0,302 ; enseignant 0,760
SIGN06 · Distillation · encodeur-classification · code Distille un classifieur de sentiment RoBERTa vers un BERT 10 fois plus petit. sans enseignant 0,758 ; distillé 0,839
EDIT08 · Fusion de modèles · code Fusionne Qwen2.5-1.5B-Instruct dans sa base par DARE-TIES, sur CPU, sans données. GSM8K : base 0,07 ; Instruct 0,51 ; fusion DARE-TIES 0,55
EDIT09 · Édition de connaissances · code Modifie 4 faits réels dans les poids par ROME (la tour Eiffel « passe » à Rome...). efficacité 0 → 1 ; généralisation 0 → 1 ; spécificité 1 → 1
EDIT10 · Désapprentissage · code Fait oublier 4 personnages appris par NPO, en gardant les 36 autres. oubli 1,0 → 0,0 ; rétention 1,0 → 0,925 ; perplexité 25,8 → 26,6
EDIT11 · Pilotage par activations · code Rend les réponses plus positives en ajoutant une direction d'activations pendant la génération. taux de réponses positives 0,60 → 0,97
FORM12 · Extension de contexte · code Fait passer SmolLM-360M de 2 048 à 8 192 tokens de contexte par YaRN et un court entraînement. perplexité à 8 192 tokens 422 → 19 ; clé retrouvée à 7 000 tokens 0,3 → 1,0
FORM13 · Extension de vocabulaire · code Ajoute 1 000 mots bretons au tokenizer de Qwen2.5-0.5B, les initialise et les entraîne sur la Wikipédia en breton ; compare à un témoin sans nouveaux tokens, sur 3 graines. tokens du texte breton −15,8 % (2,48 → 2,94 caractères par token, 3 graines) ; bits par caractère 1,602 contre 1,572 pour le témoin
FORM14 · Croissance d'architecture · code Ajoute 8 couches neutres à SmolLM2-360M (LLaMA Pro) et n'entraîne qu'elles sur la Wikipédia en breton ; compare au modèle d'origine entraîné en entier, sur 3 graines. breton 145,6 → 10,9 ; anglais 19,9 → 22,0 ; témoin au même niveau en breton : anglais 23,6 (écart 1,57 ± 0,21, 3 graines)
FORM15 · Quantification · code Quantifie Qwen2.5-1.5B-Instruct en 4 bits (NF4) et mesure la perte de qualité, la mémoire et la vitesse. NF4 : 2 945 → 1 132 Mo ; perplexité 14,9 → 16,6 ; exactitude 0,99 → 0,96
FORM15 · Quantification · gguf-llamacpp · code Exporte le modèle en GGUF pour llama.cpp, du 16 bits au 3 bits, et compare taille et perplexité. Q4_K_M : 940 Mo ; perplexité 13,9 → 14,5
EXEC17 · Optimisation du prompt · code Compare des stratégies de prompt (consigne, consigne optimisée par OPRO, exemples au hasard, exemples les plus proches) pour router des messages bancaires vers 77 intentions, sans entraînement. intentions : zéro-shot 0,229 ; consigne OPRO 0,263 ; 8 exemples au hasard 0,312 ; 8 exemples les plus proches 0,816 (n = 3 080)
EXEC18 · RAG · code Répond à des questions sur 50 personnages inventés en cherchant les bons passages parmi 2 200. exactitude 0 → 1,0 ; rappel@3 = 1,0
EXEC19 · Outils et agents · code Donne au modèle une calculatrice et une base de fiches qu'il appelle pour répondre. 0,35 → 0,95
EXEC20 · Calcul à l'inférence · code Génère 16 réponses par question GSM8K et garde la plus fréquente ou la mieux notée. glouton 0,65 ; vote sur 16 réponses 0,77 ; oracle 0,93

En local : à démontrer (5)

Ces exemples s'exécutent sur le GPU local, mais leur résultat ne prouve pas encore le gain de la méthode. La dernière colonne dit ce qui doit changer.

Exemple Ce qu'il fait Résultat mesuré Piste d'amélioration
DATA01 · Pré-entraînement continu · mlm-encodeur · code Poursuit le pré-entraînement par masquage de mots d'un encodeur RoBERTa sur un texte de domaine. perte MLM 2,38 → 1,09 Protocole de Don't Stop Pretraining sur banking77 : masquage continu sur les messages sans étiquettes, puis classification avec 10 exemples par intention, contre le même fine-tuning sans masquage, 3 graines.
SIGN04 · Optimisation des préférences · code DPO LoRA de Qwen2.5-0.5B-Instruct sur 16 000 paires UltraFeedback ; un modèle de récompense externe compare ses réponses à celles du modèle de départ ; témoin SFT sur les réponses préférées. victoires contre le départ 0,533 ± 0,032 sur 3 graines (0,552 ; 0,496 ; 0,550) ; témoin SFT 0,380 ; non-régression 0,955 → 0,963 Partir d'un modèle non aligné (base + SFT) où la marge est plus grande, ou passer au DPO itératif sur les réponses du modèle lui-même.
SIGN04 · Optimisation des préférences · dpo-iteratif · code Trois tours de DPO LoRA sur des paires que Qwen2.5-0.5B-Instruct produit lui-même (4 réponses à 500 demandes UltraFeedback, classées par Skywork-Reward-V2 0,6B) ; mesure par un autre juge (Skywork-Reward-V2 1,7B). victoires contre le départ 0,532 → 0,602 → 0,616 [0,573 ; 0,658] au fil des tours ; non-régression 0,955 → 0,935 (n.s.) Confirmer sur 2 graines.
SIGN07 · Données synthétiques · code Qwen2.5-0.5B de base, amorcé par 4 exemples, résout 3 000 problèmes de GSM8K 8 fois chacun et garde au plus 4 solutions justes aux calculs distincts par question (RFT, ReST-EM) ; pour les questions ratées, il rédige un raisonnement à partir de la réponse attendue en indice (STaR). Une époque de SFT ; témoin sur les solutions humaines. une graine : GSM8K (n = 1 319) 0,363 → 0,402 (p = 0,004) ; témoin solutions humaines 0,332. Depuis le modèle instruct : 0,411 → 0,393 (n.s.) Remesurer sur 3 graines avec l'arrêt de la génération à la fin de la ligne « Answer: ».
FORM16 · Élagage · code Met à zéro 50 % des poids de Qwen2.5-0.5B-Instruct (Wanda), puis récupère la qualité par distillation sur Wikipédia et sur des conversations du modèle d'origine. tâche 0,88 → 0,34 → 0,66 (Wanda 50 %) ; 2:4 : 0,38 ; structuré : largeur 0,14, couches 0,09 Un modèle bien plus grand (7-8B) avec un budget de cicatrisation de plusieurs milliards de tokens, sur grosse infra.

Sur cloud : en attente d'une infra cloud (20)

Les versions grosse infra (dossier infra/ de chaque méthode) demandent des GPU de centre de calcul. Leur code est fourni, mais aucune n'a été exécutée ; les durées sont des estimations.

Méthode Ce que fait la version infra Matériel visé Durée estimée
DATA01 · Pré-entraînement continu Pré-entraînement continu de Llama-3.1-8B sur environ 2 milliards de tokens. 8×H100 9 à 12 h
DATA02 · Fine-tuning supervisé SFT complet de Llama-3.1-8B-Instruct sur GSM8K (FSDP2). 8×H100 20 à 40 min
DATA03 · PEFT (LoRA, QLoRA...) QLoRA sur Llama-3.3-70B. 8×H100 45 min à 1 h 30
SIGN04 · Optimisation des préférences DPO recette Tülu 3 sur Llama-3.1-8B, 272 000 paires. 8×H100 3 à 10 h
SIGN05 · RL en ligne RL DAPO sur Qwen2.5-7B avec vLLM. 8×H100 6 à 15 h
SIGN06 · Distillation Distillation de Llama-3.1-8B vers Llama-3.2-1B. 8×H100 20 à 40 min
SIGN07 · Données synthétiques Génération par un 72B et rejection sampling, puis SFT d'un 7B. 8×H100 1 à 2 h
EDIT08 · Fusion de modèles Fusion de trois 7B spécialisés (instruct, maths, code), puis évaluation. 1 GPU ~1 h
EDIT09 · Édition de connaissances ROME et MEMIT sur Llama-3-8B (EasyEdit). 1 GPU 80 Go 15 à 30 min
EDIT10 · Désapprentissage Désapprentissage NPO sur le banc TOFU, Llama-3.1-8B. 1 GPU 80 Go 30 min à 1 h
EDIT11 · Pilotage par activations Pilotage d'un modèle de 70B, inférence seule. 2 à 4 GPU 80 Go 20 à 40 min
FORM12 · Extension de contexte Extension de Mistral-7B à 32k tokens (YaRN). 8×H100 5 à 8 h
FORM13 · Extension de vocabulaire Extension de vocabulaire de Llama-3.1-8B pour une nouvelle langue. 8×H100 10 à 14 h
FORM14 · Croissance d'architecture Croissance de Mistral-7B à 10,7B paramètres et cicatrisation. 8×H100 1 à 1,5 jour
FORM15 · Quantification Quantification GPTQ d'un 8B et évaluation. 1 GPU 40 à 80 Go ~1 h
FORM16 · Élagage Élagage Minitron de Llama-3.1-8B avec distillation. 8×H100 ~3 jours
EXEC17 · Optimisation du prompt Optimisation de prompt sur un 72B servi par vLLM (DSPy). 4 GPU 1 à 2 h
EXEC18 · RAG RAG de production : Qdrant, TEI et un 72B AWQ. 2 GPU 20 à 30 min
EXEC19 · Outils et agents Agent à outils sur un 72B servi par vLLM. 4 GPU 20 à 40 min
EXEC20 · Calcul à l'inférence Calcul à l'inférence : 64 réponses par question et modèle de récompense. 8×H100 30 min à 1 h