AmeliorIA

tekio.org

Cas : trop gros ou trop lent

Que faut-il réduire ?La mémoireFORM15 · QuantificationCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesperte trop forte8 bits, ou méthodecalibrée (GPTQ, AWQ)La taille du modèleUn modèle plus petitde la même famille ?OuiSIGN06 · DistillationCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents NonFORM16 · ÉlagageCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général puisSIGN06 · DistillationCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Deux façons de rendre un modèle moins cher : le même modèle stocké de façon plus compacte, ou un modèle réellement plus petit.

Réduire la mémoire : la quantification

La quantification stocke les poids sur 8 ou 4 bits au lieu de 16. En quelques minutes et sans données, la mémoire est divisée par 2 à 4, souvent avec un débit meilleur. Si la perte de qualité est trop forte en 4 bits, on repasse en 8 bits ou on utilise une méthode calibrée (GPTQ, AWQ), qui protège les poids les plus sensibles.

Réduire la taille du modèle

S'il existe un modèle plus petit de la même famille, la distillation lui apprend à imiter le grand : l'élève hérite d'une bonne partie de la qualité de l'enseignant pour une fraction du coût. Sinon, l'élagage retire du grand modèle des couches ou des neurones peu utiles, puis une distillation depuis le modèle d'origine récupère la qualité perdue.