AmeliorIA

tekio.org

Cas : limites de la forme

Quelle limite ?Textes trop longsEXEC18 · RAGCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibletexte brut, documents tout le texte requisFORM12 · ContexteCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Langue mal découpéeFORM13 · VocabulaireCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général puisDATA01 · Pré-entraînementCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général Capacité trop faibleFORM14 · CroissanceCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général puisDATA01 · Pré-entraînementCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairestexte brut, documents remélanger du général
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

Trois limites tiennent à la forme du modèle plutôt qu'à ce qu'il sait.

Textes trop longs

Le RAG contourne la fenêtre de contexte en ne fournissant que les passages utiles. Quand il faut vraiment tout le texte à la fois (contrat complet, base de code, long dialogue), l'extension de contexte apprend au modèle à lire des textes plus longs que ceux de son entraînement, par un court entraînement sur des textes longs.

Langue mal découpée

Un modèle lit le texte par morceaux de mots (tokens). Une langue ou un jargon qu'il découpe en trop de petits morceaux coûte plus cher et se comprend moins bien. L'extension de vocabulaire lui ajoute des morceaux adaptés, puis un pré-entraînement continu apprend au modèle à s'en servir.

Capacité trop faible

Quand le modèle sature mais qu'on ne veut pas repartir d'un pré-entraînement complet, la croissance d'architecture agrandit le modèle en copiant certaines de ses couches, puis un pré-entraînement continu apprend au modèle agrandi à s'en servir.