07Du compléteur de texte à l'assistant
Les dernières phases d'entraînement, qui font d'un modèle qui prolonge du texte un assistant qui répond.
Un modèle entraîné seulement sur du texte brut prolonge du texte : posez-lui une question, et il pourrait fort bien répondre par d'autres questions, comme s'il continuait une liste de sujets d'examen. Des phases ultérieures de l'entraînement en font un assistant, et la direction de chaque ajustement vient alors de nouvelles sources :
- L'affinage supervisé. Des personnes rédigent des exemples de bonnes réponses à des questions, et le modèle est entraîné dessus exactement comme plus haut : le corrigé est la réponse écrite par un humain.
- L'apprentissage à partir de préférences. Pour beaucoup de questions, il n'y a pas une seule bonne réponse, seulement des réponses meilleures et moins bonnes. Le modèle produit plusieurs réponses, des personnes les classent, et un second modèle apprend à prédire ces classements sous forme de score. L'entraînement pousse ensuite le modèle pour que la réponse préférée devienne plus probable et la réponse rejetée moins probable[7]. La mécanique est la même ; seule change l'origine de la direction : un score au lieu d'un token suivant connu. C'est l'apprentissage par renforcement à partir de retours humains.
- L'apprentissage à partir de résultats vérifiables. En mathématiques ou en programmation, une réponse peut être vérifiée automatiquement : le résultat est juste, le programme passe ses tests. Les modèles récents dits « de raisonnement » sont en grande partie entraînés ainsi : le modèle essaie, la vérification note la tentative, et les raisonnements qui aboutissent sont renforcés[8].
Les trois phases correspondent aux trois façons d'apprendre décrites dans le premier article :
| Phase | D'où viennent les bonnes réponses | Type d'apprentissage |
|---|---|---|
| Préentraînement | Le texte lui-même : le token suivant | Autosupervisé |
| Affinage | Des réponses écrites par des personnes | Supervisé |
| Préférences et vérifications | Un score : classements humains, ou test automatique | Apprentissage par renforcement |
Dans tous les cas, la direction de chaque ajustement vient de la même question : quel changement aurait rendu la sortie souhaitée un peu plus probable ? C'est aussi dans cette phase que les fournisseurs façonnent le ton, l'utilité, les refus et le comportement de sécurité, ce qui explique que des modèles construits sur la même architecture puissent se comporter si différemment.