Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.
Trois limites tiennent à la forme du modèle plutôt qu'à ce qu'il sait.
Textes trop longs
Le RAG contourne la fenêtre de contexte en ne fournissant que les passages utiles. Quand il faut vraiment tout le texte à la fois (contrat complet, base de code, long dialogue), l'extension de contexte apprend au modèle à lire des textes plus longs que ceux de son entraînement, par un court entraînement sur des textes longs.
Langue mal découpée
Un modèle lit le texte par morceaux de mots (tokens). Une langue ou un jargon qu'il découpe en trop de petits morceaux coûte plus cher et se comprend moins bien. L'extension de vocabulaire lui ajoute des morceaux adaptés, puis un pré-entraînement continu apprend au modèle à s'en servir.
Capacité trop faible
Quand le modèle sature mais qu'on ne veut pas repartir d'un pré-entraînement complet, la croissance d'architecture agrandit le modèle en copiant certaines de ses couches, puis un pré-entraînement continu apprend au modèle agrandi à s'en servir.