02L'attention : les mots s'informent les uns les autres
Comment chaque mot tire son sens des mots qui le précèdent, calculé à la main, et pourquoi les textes longs coûtent plus cher.
Le problème
À la fin du chapitre 1, chaque token a sa ligne de nombres, et cette ligne ne change jamais, quelle que soit la phrase. "speak" a le même vecteur dans "I speak French" et dans "I speak the truth". "Esper" et "anto" sont des fragments qui ne veulent pas dire grand-chose seuls. Pour comprendre une phrase, les nombres de chaque token doivent tenir compte de ses voisins.
L'idée, en une phrase
L'attention y parvient d'une façon simple : chaque token ajoute à ses propres nombres une moyenne pondérée des nombres des tokens qui le précèdent. Les poids, que nous appellerons des parts, dépendent de la pertinence de chaque token précédent. Les tokens pertinents reçoivent une grosse part, les autres presque rien.
Pourquoi seulement les tokens précédents ? Parce que ces modèles écrivent le texte un token à la fois, de gauche à droite : un token ne peut pas consulter des tokens qui n'ont pas encore été écrits. Quand le modèle arrive à "speak", il ne peut pas savoir si "French" ou "the truth" va suivre. L'ambiguïté se lève une étape plus tard, quand "French" (ou "truth") regarde en arrière vers "speak".
L'attention, à la main
Suivons le dernier token de "I speak Esperanto", le fragment "anto", dont la ligne est [0,5 ; 0,1 ; 0,0]. Avant de lire la suite : à lequel des quatre tokens pensez-vous que "anto" prêtera le plus d'attention ?
Étape 1 : la correspondance
La correspondance entre deux tokens mesure à quel point leurs lignes pointent dans la même direction. La règle : multiplier les deux lignes colonne par colonne, puis additionner les trois produits. Les mathématiciens appellent cela le produit scalaire de deux vecteurs. Chaque colonne fonctionne comme un vote : si les deux tokens ont un score élevé dans la même colonne, le produit est grand et la correspondance augmente ; si l'un des deux a un score nul, la colonne n'apporte rien. Deux tokens correspondent donc fortement quand ils sont élevés dans les mêmes colonnes.
Étape 2 : les parts
Les quatre correspondances doivent devenir des parts dont la somme fait 100 %. Trois opérations, chacune pour une raison :
- Amplifier : multiplier par 10. Avec seulement trois colonnes, les correspondances sont petites et proches les unes des autres. Multiplier par 10 creuse les écarts. Nous appelons ce facteur la netteté : plus il est élevé, plus l'attention désigne nettement un favori.
- Exponentielle : élever le nombre e (2,718...) à cette puissance. Cela transforme chaque valeur en un nombre positif et amplifie les différences : un écart de 0,8 entre "Esper" (3,2) et "speak" (2,4) devient un rapport de plus de deux (24,53 contre 11,02). Les meilleures correspondances prennent de l'avance ; les faibles s'effacent.
- Diviser par le total. Les quatre résultats font 50,12 au total. Diviser chacun par 50,12 donne des parts dont la somme fait exactement 100 %.
Pourquoi ne pas simplement diviser?
On pourrait diviser directement les correspondances par leur total, mais le résultat serait bien plus plat : "I" 1 %, "speak" 29 %, "Esper" 39 %, "anto" 31 %. Chaque token recevrait une part non négligeable. Et dans les vrais modèles, les correspondances peuvent être négatives, et une part négative n'a pas de sens. L'exponentielle règle les deux problèmes à la fois. Cette recette, amplifier, exponentielle, diviser par le total, s'appelle softmax, et on la retrouve partout dans les modèles de langage : le chapitre 3 l'utilise à nouveau pour transformer des scores en probabilités du mot suivant.
Étape 3 : mélanger et ajouter
"anto" prend maintenant chaque ligne précédente, la multiplie par la part de cette ligne, additionne le tout, et ajoute le résultat à sa propre ligne :
Trois choses à remarquer :
- "anto" regarde surtout "Esper" (49 %). Il complète son propre mot. Il prend une bonne part à "speak" (22 %) et presque rien à "I" (2 %), qui a peu à apporter.
- Le mélange s'ajoute, il ne remplace pas. "anto" garde ses propres nombres et gagne ce qu'il a recueilli auprès des autres.
- Le résultat a changé de sens. À [1,0 ; 0,4 ; 0,0], "anto" a maintenant un score élevé dans la colonne « langue » et un score moyen dans la colonne « parole ». Un fragment qui ne voulait presque rien dire est devenu, dans les nombres du modèle, une langue que l'on parle.
Le même calcul dans "I speak the truth" tire "truth" dans l'autre sens. Là, "truth" donne 85 % de sa part à "speak", et ses nombres montent dans la colonne « parole » : quelque chose que l'on dit, et non une langue. Même tableau, même règle, autres voisins, autre résultat. C'est ainsi que l'ambiguïté de "speak" se lève.
Ce que simplifie notre modèle jouet : trois versions de chaque token
Un mot qui ne cherche que des mots qui lui ressemblent, c'est un peu un manager qui n'embauche que des clones. Dans notre jouet, chaque token utilisait sa propre ligne pour tout : pour chercher des voisins pertinents, et pour être trouvé par eux. Une ligne correspond toujours le mieux à des lignes qui lui ressemblent, ce qui explique pourquoi "anto" a donné ses plus grosses parts à son autre moitié, "Esper", et à lui-même. Mais très souvent, un mot a besoin de trouver quelque chose de différent : un pronom a besoin de son nom, une langue du verbe qui la gouverne.
Les vrais modèles règlent ce problème en donnant à chaque token trois versions de sa ligne, chacune obtenue en faisant passer la ligne dans son propre petit tableau de poids, exactement comme une couche du premier article :
- ce que le token cherche (les spécialistes parlent de query, la requête) ;
- ce que le token offre, pour être trouvé par les autres (la key, la clé) ;
- ce que le token transmet une fois choisi (la value, la valeur).
Donnons à "anto" un tableau « cherche » et voyons ce qui change. Pour garder des nombres simples, les deux autres versions restent égales aux lignes elles-mêmes.
Avec sa propre ligne, "anto" cherchait des tokens qui lui ressemblent et trouvait "Esper". Avec le tableau « cherche », il cherche un token qui a un score élevé en « parole », trouve "speak", le verbe, et lui accorde 94 % de son attention. Le tableau ne contient qu'un seul poids significatif, qui se lit comme une règle : « une langue cherche la parole ».
D'où vient le tableau « cherche »?
Nous avons écrit le nôtre à la main. Dans un vrai modèle, personne ne le fait. Comme le tableau du vocabulaire, il commence par des nombres aléatoires et est ajusté par l'entraînement. Chaque fois que "anto" a regardé au mauvais endroit et que le mot suivant a été mal prédit, la correction remonte à travers les parts jusqu'au tableau « cherche », et pousse ses poids vers ce qui aurait mieux dirigé l'attention. Dans des millions de phrases, un nom de langue est suivi de quelque chose qui parle de la parler : le poids qui relie « langue » à « parole » est donc poussé vers le haut, encore et encore. La règle n'est jamais écrite ; elle est ce qui reste après l'entraînement. Les vrais tableaux ont des milliers de nombres de large, chaque tête de chaque couche a les siens, et comme les colonnes du chapitre 1, ils se lisent rarement comme des règles nettes. Les tableaux « offre » et « transmet » sont appris exactement de la même façon.
À essayer. Dans le classeur d'accompagnement (en anglais), dans l'onglet « Attention », modifiez le tableau "looking for" de la tête 2 : mettez le 1 à 0 et placez des 1 sur la diagonale, pour que "anto" cherche à nouveau des tokens qui lui ressemblent. Il revient à "Esper", exactement comme la tête 1.
Chercher plusieurs choses à la fois : les têtes d'attention
Nous voilà face à un dilemme. Sans tableau « cherche », "anto" complète son propre mot : 49 % pour "Esper". Avec, il trouve son verbe : 94 % pour "speak". Les deux sont utiles, mais un seul jeu de parts ne peut faire qu'une chose à la fois. Un vrai modèle mène donc plusieurs calculs d'attention côte à côte, chacun avec ses trois tableaux. Chacun s'appelle une tête. Voici nos deux calculs, présentés comme deux têtes d'une même couche :
Chaque tête lit la même phrase sous un angle différent. La tête 1 répond à « de quel mot fais-je partie ? » ; la tête 2 à « quel verbe me gouverne ? ». Le modèle n'a pas à choisir : il place les deux mélanges côte à côte et les fait passer par un tableau de plus, appris comme les autres, qui les fusionne en une seule mise à jour ajoutée à "anto". Dans notre parcours, nous ne gardons que la tête 1, pour que les nombres restent faciles à suivre.
Les vrais modèles fonctionnent de la même façon, avec bien plus de têtes : 8 par couche dans le modèle d'origine de 2017[6], 128 dans Llama 3 405B[7]. Personne ne leur attribue de rôle. Les chercheurs qui examinent des modèles entraînés trouvent des têtes qui relient les pronoms à leurs noms, des têtes qui regardent le mot précédent, des têtes qui relient les verbes à leurs compléments, et beaucoup dont le rôle est difficile à décrire[8]. Dans "The trophy didn't fit in the suitcase because it was too big" (le trophée n'entrait pas dans la valise parce qu'il était trop grand)[9], une tête peut relier "it" à "trophy" pendant qu'une autre le relie à "was" : deux sortes de contexte, recueillies en même temps.
La distance ne compte pas, la longueur si
Dans la phrase du trophée, "it" se relie à "trophy", plusieurs mots en arrière, aussi facilement qu'à son voisin. C'est exactement ce qui posait problème aux réseaux récurrents : quand ils arrivaient à "it", leur souvenir de "trophy" s'était estompé. Mais l'attention a un coût. Chaque token doit calculer une correspondance avec chaque token qui le précède : doubler la longueur d'un texte multiplie donc le travail par quatre environ. C'est pourquoi tout modèle a une longueur maximale de texte qu'il peut traiter, sa « fenêtre de contexte », et pourquoi les longs documents coûtent plus cher à traiter (chapitre 4).