AmeliorIA

tekio.org

FORM : choisir entre les méthodes

Dans quel sens ?ÉtendreQuelle limitegêne ?Textes troplongsFORM12 · ContexteCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Langue maldécoupéeFORM13 · VocabulaireCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général CapacitéinsuffisanteFORM14 · CroissanceCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général CompresserFORM15 · QuantificationCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesencore tropgros ou lentFORM16 · ÉlagageCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Ces méthodes changent la forme du modèle : la longueur de texte qu'il lit, son vocabulaire, son nombre de couches, la précision de ses poids, sa taille. Elles vont dans deux sens opposés : étendre ce qu'il peut faire, ou compresser ce qu'il coûte.

Étendre : trouver la limite qui gêne

  • Les textes sont plus longs que sa fenêtre (contrats, code, longues conversations) : l'extension de contexte modifie l'encodage des positions, puis un court entraînement sur des textes longs apprend au modèle à s'en servir. Si seule une petite partie des documents est utile à chaque question, le RAG coûte bien moins cher.
  • La langue ou le domaine est mal découpé en tokens (plus de 2 à 3 tokens par mot) : l'extension de vocabulaire ajoute des tokens, puis un entraînement conséquent leur donne un sens. Pour quelques mots rares, c'est inutile.
  • Le modèle manque de capacité : la croissance d'architecture ajoute des couches ou des experts à un modèle existant. C'est la plus coûteuse : sans un long entraînement de cicatrisation, le modèle agrandi n'est pas meilleur que l'original.

Les trois demandent ensuite un entraînement sur du texte brut, avec une part de texte général contre l'oubli.

Compresser : quantifier d'abord

  • La quantification stocke les poids sur 8 ou 4 bits au lieu de 16. Elle est rapide, sans entraînement, et la perte est faible en 8 bits, modérée en 4 bits sur les modèles de 7B et plus. C'est le premier réflexe pour faire tenir un modèle sur un matériel plus petit.
  • Si le modèle reste trop gros ou trop lent, l'élagage retire des poids, des couches ou des neurones, puis une cicatrisation, idéalement par distillation, restaure la qualité. Il ne fait gagner de la mémoire ou du temps que s'il est structuré ou servi par un moteur adapté. Les deux se combinent : élaguer, puis quantifier.

Comparer les méthodes

Méthode Calcul Temps Données à fournir Remélanger du général Exemples de code
FORM12 · Extension de contexte plusieurs GPU heures texte brut, documents oui démontré
FORM13 · Extension de vocabulaire plusieurs GPU jours texte brut, documents oui démontré
FORM14 · Croissance d'architecture plusieurs GPU jours texte brut, documents oui démontré
FORM15 · Quantification 1 GPU (inférence) minutes — aucune donnée — démontré démontré
FORM16 · Élagage plusieurs GPU heures texte brut, documents oui non prouvé

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel. Statuts des exemples : Statut des exemples.