05Apprendre : d'où vient chaque ajustement

La boucle d'entraînement sur le modèle jouet, avec ses nombres, et d'où vient chaque ajustement.

Le premier article a montré la boucle d'entraînement sur un neurone anti-spam. Voici la même boucle sur le modèle de langage jouet du deuxième article, avec ses nombres. Le seul ingrédient nouveau est le corrigé, qui vient désormais du texte lui-même.

Revenons au moment où l'entraînement a commencé. Supposons que le réseau classique du modèle jouet (deuxième article, chapitre 3) n'ait pas encore appris sa correction : "anto" arrive donc en haut du modèle avec [1,0 ; 0,4 ; 0,0], la valeur qu'il avait après l'attention. Le texte d'entraînement dit que le token suivant est "fluently". La prédiction du modèle : "English" 36 %, "fluently" 36 %, "French" 25 %, tout le reste 3 %. Il hésite, et ne donne à la bonne réponse qu'environ un tiers de la probabilité.

Mesurer l'erreur

L'erreur ne dépend que d'une chose : la probabilité que le modèle a donnée à la bonne réponse. 100 % signifie aucune erreur ; plus le chiffre est bas, plus l'erreur est grande.

Trouver la direction

Pour le vecteur final, la direction a une forme remarquablement simple : vers la bonne réponse, à l'opposé de ce que le modèle attendait. « Ce que le modèle attendait » est la moyenne de toutes les lignes de tokens, chacune pondérée par la probabilité que le modèle lui a donnée. Ici, cette moyenne vaut environ [0,82 ; 0,46 ; 0,06], un point quelque part entre "English", "French" et "fluently". La direction est la différence : fluently [0,7 ; 0,8 ; 0,0] moins l'attendu [0,82 ; 0,46 ; 0,06], ce qui donne [−0,12 ; +0,34 ; −0,06]. En clair : moins de « langue », plus de « parole ».

Faire un petit pas

Le vecteur avance d'une fraction du chemin dans cette direction. Avec un pas d'un demi, il devient [0,94 ; 0,57 ; −0,03], et "fluently" passe de 36 % à 61 %. Le modèle n'a pas encore raison, mais il se trompe moins.

Un ajustement d'entraînement sur la carteLe vecteur final s'éloigne de ce que le modèle attendait et se rapproche de la bonne réponse ; la probabilité de fluently passe de 36 à 61 %.Langue →Parole ↑EsperFrenchEnglishfluentlyla bonne réponsece qu'attendait le modèledirection :vers la réponse,loin de l'attenduavantfluently 36 %après un ajustementfluently 61 %
Carte jouet agrandie. Les vrais ajustements sont bien plus petits et répétés des milliards de fois.

Mais le vecteur final n'est pas un bouton de réglage

Personne ne peut le fixer directement : il est calculé à partir du tableau du vocabulaire, des tableaux de l'attention et des poids du réseau. Comme l'expliquait le premier article, la rétropropagation fait remonter la correction à travers tout ce qui l'a produite[6], si bien que chaque paramètre du modèle reçoit sa propre petite direction à partir de cette seule erreur.

Cela inclut le tableau du vocabulaire. La ligne de "fluently" est légèrement poussée vers le vecteur qui aurait dû la prédire. Les lignes de "English" et "French" sont légèrement repoussées, parce qu'elles ont reçu une probabilité qu'elles ne méritaient pas. C'est ainsi que les tokens qui apparaissent dans les mêmes contextes finissent par avoir des lignes semblables, comme l'a montré le deuxième article.

Pourquoi des milliards de petits ajustements plutôt que quelques grands

Une phrase isolée est un mauvais guide. Dans une autre phrase d'entraînement, "I speak Esperanto" est suivi de "and French", et la direction y pointerait dans l'autre sens. Le modèle ne fait donc jamais un pas sur un seul exemple. Chaque pas est calculé à partir de la moyenne de toutes les directions d'un lot, des millions de tokens. Les ajustements qui se contredisent s'annulent ; ceux qui concordent d'une phrase à l'autre s'accumulent. Sur un million de pas, ce qui reste est ce qui est vrai pour l'ensemble du texte. La taille de chaque pas est un réglage choisi par les ingénieurs. Trop grande, et l'entraînement devient instable ; trop petite, et il ne finit jamais. Elle se règle par tâtonnements, une raison de plus pour laquelle l'entraînement relève autant du savoir-faire empirique que de la science.

L'ensemble de la procédure s'appelle la descente de gradient. Imaginez un randonneur perdu dans le brouillard sur le flanc d'une montagne : incapable de voir la vallée, il peut tout de même l'atteindre en faisant toujours un pas dans la direction qui descend le plus sous ses pieds. Les ingénieurs préféreront peut-être une autre image : une boucle de régulation, appliquée aux paramètres plutôt qu'à un moteur ou à une vanne. En pratique, le gradient brut n'est pas appliqué tel quel : des optimiseurs comme Adam[16] adaptent la taille du pas pour chaque paramètre, et les pas sont minuscules, une fraction de millième.