04Le fournir au modèle
Comment le texte nettoyé devient matière d'entraînement, et pourquoi chaque tronçon contient des milliers d'exercices à la fois.
Le texte nettoyé est découpé en tokens, les documents sont mis bout à bout, et tout le flux est coupé en tronçons de longueur fixe. Pour Llama 3, les tronçons faisaient 8 192 tokens pendant la plus grande partie de l'entraînement[2].
Voici le point clé, et il nous ramène au début de l'article. Rappelez-vous la règle du deuxième article : chaque token ne peut regarder que les tokens qui le précèdent. Cette règle transforme chaque tronçon en milliers d'exercices à la fois. Chaque position est une question (« qu'est-ce qui vient ensuite ? ») dont la réponse est simplement le token suivant du tronçon :
Mesurez ce que cela signifie. Personne n'a besoin d'étiqueter quoi que ce soit : le texte fournit son propre corrigé. Le premier article décrivait trois façons d'apprendre, et celle-ci n'entre proprement dans aucune. Chaque question vient avec sa bonne réponse, comme en apprentissage supervisé, mais personne n'a écrit ces réponses : elles étaient déjà dans le texte, comme en apprentissage non supervisé. Les spécialistes parlent donc d'apprentissage autosupervisé : supervisé dans la façon dont il apprend, non supervisé dans l'origine des réponses. C'est ce qui permet à l'entraînement de s'étendre à une grande partie du web écrit[5]. C'est aussi là que l'architecture de 2017 fait la différence : toutes les questions d'un tronçon sont traitées et corrigées en un seul passage, là où un réseau récurrent aurait dû les traiter l'une après l'autre.
Les tronçons sont ensuite regroupés en lots. Pour son plus grand modèle, Meta a commencé avec des lots de 4 millions de tokens et les a portés à 16 millions[2]. Chaque lot produit un pas d'apprentissage, et environ un million de ces pas ont fait parcourir au modèle ses 15 000 milliards de tokens. La plus grande partie du texte n'est lue qu'une fois. Les meilleures sources peuvent être lues plusieurs fois, et la dernière phase de l'entraînement se concentre sur les contenus de meilleure qualité, un peu comme une dernière révision avant un examen.