Travail en cours
Le dépôt compte 30 exemples locaux, qui tournent sur un seul GPU de 12 Go, et 20 versions « grosse infra » pour le cloud. 25 exemples locaux sont démontrés ; le travail en cours porte sur les 5 autres, pour les démontrer en local. Les versions cloud attendent une machine multi-GPU : si vous pouvez en prêter une, contactez-moi sur GitHub.
Un exemple est démontré quand le gain de sa méthode est mesuré et net : modèle de départ qui échoue, même mesure avant et après, écart au-delà de l'intervalle de confiance. Critères et détail des durées : Statut des exemples.
En local : démontrés (25)
Le gain de la méthode est mesuré et net, sur le GPU local de 12 Go.
| Exemple | Ce qu'il fait | Résultat mesuré |
|---|---|---|
| DATA01 · Pré-entraînement continu · code | Poursuit l'entraînement de Qwen2.5-0.5B sur les biographies de 400 personnages inventés et les questions-réponses de la moitié d'entre eux (protocole Physics of Language Models 3.1), puis l'interroge sur l'autre moitié, 3 graines. | questions sur les personnages jamais questionnés 0,001 → 0,9996 ± 0,0007 ; témoin à une biographie 0,997 |
| DATA02 · Fine-tuning supervisé · code | Fine-tuning complet de Qwen2.5-0.5B-Instruct pour router des messages de clients bancaires vers 77 intentions (banking77), avec remélange contre l'oubli. | intentions 0,231 → 0,904 (n = 3 080) ; non-régression 0,955 → 0,765 (0,025 sans remélange) |
DATA02 · Fine-tuning supervisé · classification-encodeur · code |
Entraîne ModernBERT-base à classer les mêmes messages bancaires en 77 intentions (banking77). | intentions 0,012 → 0,937 (n = 3 080), 85 s d'entraînement |
DATA02 · Fine-tuning supervisé · vision · code |
Entraîne un ViT à classer des photos en 10 catégories (CIFAR-10). | CIFAR-10 0,10 → 0,97 |
DATA02 · Fine-tuning supervisé · seq2seq · code |
Fine-tune Flan-T5-base (encodeur-décodeur) pour résumer des dialogues de service client (DialogSum). | ROUGE-L 0,291 → 0,432 (+0,141 [+0,127 ; +0,156], n = 500) |
DATA02 · Fine-tuning supervisé · audio-whisper · code |
Fine-tune Whisper-small sur des conversations en anglais de 40 accents (EdAcc), mesure sur d'autres locuteurs, 3 graines. | WER 0,232 → 0,181 (−0,051 ± 0,004, 3 graines) |
| DATA03 · PEFT (LoRA, QLoRA...) · code | Entraîne un adaptateur LoRA sur Qwen2.5-0.5B-Instruct, mêmes données que le fine-tuning complet (banking77, remélange compris), pour comparer gain et oubli. | intentions 0,229 → 0,891 (n = 3 080) ; non-régression 0,955 → 0,95 ; adaptateur désactivé 0,955 |
DATA03 · PEFT (LoRA, QLoRA...) · diffusion-lora · code |
Apprend un chien précis à Stable Diffusion 1.5 à partir de 5 photos (DreamBooth-LoRA), mesuré comme dans le papier DreamBooth : similarité DINO au sujet et CLIP au prompt, 4 prompts × 8 graines appariés avant/après. | fidélité au sujet (DINO) 0,281 → 0,751 (p < 0,001) ; fidélité au prompt (CLIP) 0,300 → 0,293 (n.s.) |
| SIGN05 · RL en ligne · code | RL (DAPO) sur 800 problèmes de GSM8K : le modèle est récompensé quand sa réponse finale est juste, sans solution rédigée. | GSM8K (n = 1 319) : 0,411 → 0,465 (p = 0,0002) ; non-régression 0,955 → 0,955 |
SIGN05 · RL en ligne · modele-recompense · code |
Entraîne un modèle de récompense à préférer la bonne réponse dans des paires. | exactitude de préférence 0,485 → 0,98 |
| SIGN06 · Distillation · code | Qwen2.5-3B-Instruct résout des problèmes de GSM8K ; Qwen2.5-0.5B-Instruct est entraîné sur ses solutions justes. Témoin : même entraînement sur les solutions humaines du jeu. | GSM8K (n = 1 319) : élève 0,411 → 0,451 ; témoin solutions humaines 0,302 ; enseignant 0,760 |
SIGN06 · Distillation · encodeur-classification · code |
Distille un classifieur de sentiment RoBERTa vers un BERT 10 fois plus petit. | sans enseignant 0,758 ; distillé 0,839 |
| EDIT08 · Fusion de modèles · code | Fusionne Qwen2.5-1.5B-Instruct dans sa base par DARE-TIES, sur CPU, sans données. | GSM8K : base 0,07 ; Instruct 0,51 ; fusion DARE-TIES 0,55 |
| EDIT09 · Édition de connaissances · code | Modifie 4 faits réels dans les poids par ROME (la tour Eiffel « passe » à Rome...). | efficacité 0 → 1 ; généralisation 0 → 1 ; spécificité 1 → 1 |
| EDIT10 · Désapprentissage · code | Fait oublier 4 personnages appris par NPO, en gardant les 36 autres. | oubli 1,0 → 0,0 ; rétention 1,0 → 0,925 ; perplexité 25,8 → 26,6 |
| EDIT11 · Pilotage par activations · code | Rend les réponses plus positives en ajoutant une direction d'activations pendant la génération. | taux de réponses positives 0,60 → 0,97 |
| FORM12 · Extension de contexte · code | Fait passer SmolLM-360M de 2 048 à 8 192 tokens de contexte par YaRN et un court entraînement. | perplexité à 8 192 tokens 422 → 19 ; clé retrouvée à 7 000 tokens 0,3 → 1,0 |
| FORM13 · Extension de vocabulaire · code | Ajoute 1 000 mots bretons au tokenizer de Qwen2.5-0.5B, les initialise et les entraîne sur la Wikipédia en breton ; compare à un témoin sans nouveaux tokens, sur 3 graines. | tokens du texte breton −15,8 % (2,48 → 2,94 caractères par token, 3 graines) ; bits par caractère 1,602 contre 1,572 pour le témoin |
| FORM14 · Croissance d'architecture · code | Ajoute 8 couches neutres à SmolLM2-360M (LLaMA Pro) et n'entraîne qu'elles sur la Wikipédia en breton ; compare au modèle d'origine entraîné en entier, sur 3 graines. | breton 145,6 → 10,9 ; anglais 19,9 → 22,0 ; témoin au même niveau en breton : anglais 23,6 (écart 1,57 ± 0,21, 3 graines) |
| FORM15 · Quantification · code | Quantifie Qwen2.5-1.5B-Instruct en 4 bits (NF4) et mesure la perte de qualité, la mémoire et la vitesse. | NF4 : 2 945 → 1 132 Mo ; perplexité 14,9 → 16,6 ; exactitude 0,99 → 0,96 |
FORM15 · Quantification · gguf-llamacpp · code |
Exporte le modèle en GGUF pour llama.cpp, du 16 bits au 3 bits, et compare taille et perplexité. | Q4_K_M : 940 Mo ; perplexité 13,9 → 14,5 |
| EXEC17 · Optimisation du prompt · code | Compare des stratégies de prompt (consigne, consigne optimisée par OPRO, exemples au hasard, exemples les plus proches) pour router des messages bancaires vers 77 intentions, sans entraînement. | intentions : zéro-shot 0,229 ; consigne OPRO 0,263 ; 8 exemples au hasard 0,312 ; 8 exemples les plus proches 0,816 (n = 3 080) |
| EXEC18 · RAG · code | Répond à des questions sur 50 personnages inventés en cherchant les bons passages parmi 2 200. | exactitude 0 → 1,0 ; rappel@3 = 1,0 |
| EXEC19 · Outils et agents · code | Donne au modèle une calculatrice et une base de fiches qu'il appelle pour répondre. | 0,35 → 0,95 |
| EXEC20 · Calcul à l'inférence · code | Génère 16 réponses par question GSM8K et garde la plus fréquente ou la mieux notée. | glouton 0,65 ; vote sur 16 réponses 0,77 ; oracle 0,93 |
En local : à démontrer (5)
Ces exemples s'exécutent sur le GPU local, mais leur résultat ne prouve pas encore le gain de la méthode. La dernière colonne dit ce qui doit changer.
| Exemple | Ce qu'il fait | Résultat mesuré | Piste d'amélioration |
|---|---|---|---|
DATA01 · Pré-entraînement continu · mlm-encodeur · code |
Poursuit le pré-entraînement par masquage de mots d'un encodeur RoBERTa sur un texte de domaine. | perte MLM 2,38 → 1,09 | Protocole de Don't Stop Pretraining sur banking77 : masquage continu sur les messages sans étiquettes, puis classification avec 10 exemples par intention, contre le même fine-tuning sans masquage, 3 graines. |
| SIGN04 · Optimisation des préférences · code | DPO LoRA de Qwen2.5-0.5B-Instruct sur 16 000 paires UltraFeedback ; un modèle de récompense externe compare ses réponses à celles du modèle de départ ; témoin SFT sur les réponses préférées. | victoires contre le départ 0,533 ± 0,032 sur 3 graines (0,552 ; 0,496 ; 0,550) ; témoin SFT 0,380 ; non-régression 0,955 → 0,963 | Partir d'un modèle non aligné (base + SFT) où la marge est plus grande, ou passer au DPO itératif sur les réponses du modèle lui-même. |
SIGN04 · Optimisation des préférences · dpo-iteratif · code |
Trois tours de DPO LoRA sur des paires que Qwen2.5-0.5B-Instruct produit lui-même (4 réponses à 500 demandes UltraFeedback, classées par Skywork-Reward-V2 0,6B) ; mesure par un autre juge (Skywork-Reward-V2 1,7B). | victoires contre le départ 0,532 → 0,602 → 0,616 [0,573 ; 0,658] au fil des tours ; non-régression 0,955 → 0,935 (n.s.) | Confirmer sur 2 graines. |
| SIGN07 · Données synthétiques · code | Qwen2.5-0.5B de base, amorcé par 4 exemples, résout 3 000 problèmes de GSM8K 8 fois chacun et garde au plus 4 solutions justes aux calculs distincts par question (RFT, ReST-EM) ; pour les questions ratées, il rédige un raisonnement à partir de la réponse attendue en indice (STaR). Une époque de SFT ; témoin sur les solutions humaines. | une graine : GSM8K (n = 1 319) 0,363 → 0,402 (p = 0,004) ; témoin solutions humaines 0,332. Depuis le modèle instruct : 0,411 → 0,393 (n.s.) | Remesurer sur 3 graines avec l'arrêt de la génération à la fin de la ligne « Answer: ». |
| FORM16 · Élagage · code | Met à zéro 50 % des poids de Qwen2.5-0.5B-Instruct (Wanda), puis récupère la qualité par distillation sur Wikipédia et sur des conversations du modèle d'origine. | tâche 0,88 → 0,34 → 0,66 (Wanda 50 %) ; 2:4 : 0,38 ; structuré : largeur 0,14, couches 0,09 | Un modèle bien plus grand (7-8B) avec un budget de cicatrisation de plusieurs milliards de tokens, sur grosse infra. |
Sur cloud : en attente d'une infra cloud (20)
Les versions grosse infra (dossier infra/ de chaque méthode) demandent des GPU de centre de calcul. Leur code est fourni, mais aucune n'a été exécutée ; les durées sont des estimations.
| Méthode | Ce que fait la version infra | Matériel visé | Durée estimée |
|---|---|---|---|
| DATA01 · Pré-entraînement continu | Pré-entraînement continu de Llama-3.1-8B sur environ 2 milliards de tokens. | 8×H100 | 9 à 12 h |
| DATA02 · Fine-tuning supervisé | SFT complet de Llama-3.1-8B-Instruct sur GSM8K (FSDP2). | 8×H100 | 20 à 40 min |
| DATA03 · PEFT (LoRA, QLoRA...) | QLoRA sur Llama-3.3-70B. | 8×H100 | 45 min à 1 h 30 |
| SIGN04 · Optimisation des préférences | DPO recette Tülu 3 sur Llama-3.1-8B, 272 000 paires. | 8×H100 | 3 à 10 h |
| SIGN05 · RL en ligne | RL DAPO sur Qwen2.5-7B avec vLLM. | 8×H100 | 6 à 15 h |
| SIGN06 · Distillation | Distillation de Llama-3.1-8B vers Llama-3.2-1B. | 8×H100 | 20 à 40 min |
| SIGN07 · Données synthétiques | Génération par un 72B et rejection sampling, puis SFT d'un 7B. | 8×H100 | 1 à 2 h |
| EDIT08 · Fusion de modèles | Fusion de trois 7B spécialisés (instruct, maths, code), puis évaluation. | 1 GPU | ~1 h |
| EDIT09 · Édition de connaissances | ROME et MEMIT sur Llama-3-8B (EasyEdit). | 1 GPU 80 Go | 15 à 30 min |
| EDIT10 · Désapprentissage | Désapprentissage NPO sur le banc TOFU, Llama-3.1-8B. | 1 GPU 80 Go | 30 min à 1 h |
| EDIT11 · Pilotage par activations | Pilotage d'un modèle de 70B, inférence seule. | 2 à 4 GPU 80 Go | 20 à 40 min |
| FORM12 · Extension de contexte | Extension de Mistral-7B à 32k tokens (YaRN). | 8×H100 | 5 à 8 h |
| FORM13 · Extension de vocabulaire | Extension de vocabulaire de Llama-3.1-8B pour une nouvelle langue. | 8×H100 | 10 à 14 h |
| FORM14 · Croissance d'architecture | Croissance de Mistral-7B à 10,7B paramètres et cicatrisation. | 8×H100 | 1 à 1,5 jour |
| FORM15 · Quantification | Quantification GPTQ d'un 8B et évaluation. | 1 GPU 40 à 80 Go | ~1 h |
| FORM16 · Élagage | Élagage Minitron de Llama-3.1-8B avec distillation. | 8×H100 | ~3 jours |
| EXEC17 · Optimisation du prompt | Optimisation de prompt sur un 72B servi par vLLM (DSPy). | 4 GPU | 1 à 2 h |
| EXEC18 · RAG | RAG de production : Qdrant, TEI et un 72B AWQ. | 2 GPU | 20 à 30 min |
| EXEC19 · Outils et agents | Agent à outils sur un 72B servi par vLLM. | 4 GPU | 20 à 40 min |
| EXEC20 · Calcul à l'inférence | Calcul à l'inférence : 64 réponses par question et modèle de récompense. | 8×H100 | 30 min à 1 h |