AmeliorIA

tekio.org

Cas : raisonnement

Calcul exact ouaction nécessaire ?OuiEXEC19 · OutilsCalcul : CPU ou API (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possibleNonEXEC20 · InférenceCalcul : 1 GPU (inférence) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : minutes (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)fermé (API) possiblesuffitGarder le vote,payer N appelstrop cher à l'usageRéponses vérifiablespar un programme ?OuiSIGN07 · Données synth.Calcul : 1 GPU (entraînement) (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables ne suffit pasSIGN05 · RLCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : jours (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesréponses vérifiables NonDATA02 · SFTCalcul : plusieurs GPU (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)Temps : heures (ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel)poids nécessairesexemples annotés remélanger du général
Catégorie
DATA Apprendre à partir de données
SIGN Apprendre à partir d'un signal
EDIT Chirurgie du modèle
FORM Remodeler : étendre ou compresser
EXEC À l'exécution, sans toucher aux poids
Calcul
CPU ou API
1 GPU (inférence)
1 GPU (entraînement)
plusieurs GPU
Temps
minutes
heures
jours
Modèle
poids nécessaires
fermé (API) possible
Données à fournir
—aucune donnée
texte brut, documents
exemples annotés
préférences A > B
réponses vérifiables
Contre l'oubli
remélanger du général

Calcul et temps : ordre de grandeur pour un modèle de 7 à 8 milliards de paramètres, sur un cas d'usage réel.

On distingue d'abord ce qui relève du calcul ou de l'action, que le modèle ne doit pas faire de tête, de ce qui relève vraiment du raisonnement.

Calcul exact ou action : les outils

Un calcul exact, une requête en base, un appel d'API : le modèle décrit l'appel, un programme l'exécute et lui rend le résultat. C'est fiable, peu coûteux, et compatible avec un modèle fermé.

Raisonnement : d'abord à l'inférence

Faire produire plusieurs raisonnements et garder la réponse majoritaire améliore nettement la justesse sans rien entraîner. Le prix se paie à chaque requête : N appels au lieu d'un. Si ça suffit, on garde le vote.

Trop cher à l'usage : apprendre le raisonnement

Si le coût par requête devient trop élevé, on fait entrer le raisonnement dans les poids. Tout dépend alors de la possibilité de vérifier une réponse par un programme (résultat numérique, tests de code, requête SQL).

  • Réponses vérifiables : on fait générer de nombreuses solutions, on ne garde que les justes et on entraîne dessus (données synthétiques). Si ce n'est pas suffisant, le RL à récompense vérifiable fait progresser le modèle au-delà de ce qu'il réussit déjà.
  • Réponses non vérifiables : il faut des solutions rédigées par des humains, et un SFT sur ces exemples.