01Des mots aux vecteurs
Comment le texte est découpé en tokens, comment chaque token devient une ligne de nombres, et d'où viennent ces nombres.
D'un filtre anti-spam à un modèle de langage
Le premier article de cette série nous a donné tout ce dont un réseau de neurones est fait : des neurones qui multiplient, additionnent et coudent ; des couches qui sont des tableaux de poids ; et une boucle d'entraînement qui ajuste ces poids à partir d'exemples. Un modèle de langage comme Claude ou ChatGPT est construit exactement avec ces pièces. Mais le filtre anti-spam avait la tâche facile sur trois points, et un modèle de langage n'a aucun de ces avantages.
- Ses entrées étaient préparées pour lui. Le neurone anti-spam n'a jamais lu un courriel. Un petit programme le lisait, et donnait au neurone cinq nombres, 1 ou 0, un par indice. Un modèle de langage reçoit du texte brut : des mots, dans n'importe quel ordre, de n'importe quelle longueur. Avant qu'un neurone puisse travailler, le texte doit devenir des nombres. C'est l'objet de cette section.
- Chaque indice voulait toujours dire la même chose. « Contient un lien », c'est un lien, quoi que dise le reste du courriel. Dans la langue, le sens d'un mot dépend des mots qui l'entourent : "speak" ne veut pas dire la même chose dans "I speak French" (je parle français) et dans "I speak the truth" (je dis la vérité). Les mots doivent pouvoir s'informer les uns les autres avant que les neurones les traitent. C'est le rôle de l'attention (chapitre 2).
- Il répondait à une question par un score. Spam ou pas, un seul nombre entre 0 et 1. Un modèle de langage répond à une autre question, encore et encore : de tous les mots qu'il connaît, lequel vient ensuite ? Sa sortie est une probabilité pour chaque mot de son vocabulaire (chapitre 3).
À partir d'ici, nous suivons une seule phrase, "I speak Esperanto", à travers un modèle de langage jouet assez petit pour être calculé à la main. Comme le classeur d'accompagnement, ce modèle jouet travaille en anglais : ses tokens restent en anglais dans tout l'article. Ses tableaux sont minuscules, mais ce sont de vrais tableaux, et tout ce qu'il fait se ramène à multiplier, additionner et couder, comme vous le savez déjà.
Tokens et identifiants
Le texte est d'abord découpé en morceaux appelés tokens. Un token est souvent un mot entier, mais les mots rares sont découpés en plusieurs morceaux. Dans "I speak Esperanto", les mots "I" et "speak" sont assez courants pour être des tokens à part entière, mais "Esperanto" est découpé en "Esper" et "anto". Remarquez que l'espace voyage avec le mot qui le suit : le modèle reçoit "I", " speak", " Esper", "anto".
Notre modèle jouet ne connaît que douze tokens. Chacun a un numéro, son identifiant, comme un numéro de ligne dans une liste : "I speak Esperanto" devient donc 0, 1, 2, 3. À partir de là, le modèle ne voit plus jamais de lettres, seulement des nombres.
Qui décide où couper ?
Pas le modèle. Le découpage est fait par un outil séparé et bien plus simple, le tokenizer, construit avant l'entraînement du modèle. Il ne sait rien du sens ; il travaille uniquement sur les fréquences.
La méthode la plus courante, le byte-pair encoding[1][2], part d'un grand échantillon de texte découpé en caractères isolés. Elle trouve la paire de voisins qui apparaît le plus souvent, par exemple "e" suivi de "a", et la fusionne en un nouveau morceau. Puis elle recommence, encore et encore, des milliers de fois, jusqu'à ce que le vocabulaire atteigne sa taille cible, en général entre 30 000 et 200 000 morceaux.
Les mots fréquents comme "speak" finissent en un seul token ; les mots rares comme "Esperanto" restent en morceaux, parce que les fusions qui les compléteraient ne sont jamais assez bien classées. Une fois construit, le tokenizer est figé : le même texte est toujours découpé de la même façon. C'est aussi pourquoi les coupures ignorent la grammaire. "Esper" et "anto" ne sont pas des parties du mot qui ont un sens, seulement des morceaux statistiquement commodes.
Deux conséquences pratiques. D'abord, rien n'est jamais inconnu : n'importe quel mot peut être construit à partir de morceaux plus petits, jusqu'aux caractères isolés si nécessaire, si bien que le modèle peut toujours traiter un nouveau nom de marque, une faute de frappe ou un code produit. Ensuite, certaines tâches simples deviennent étonnamment difficiles. Le modèle ne voit jamais de lettres, seulement des bouts de mots : compter les lettres d'un mot, l'écrire à l'envers ou rédiger un texte d'un nombre exact de caractères l'oblige à travailler à partir d'une information qu'il n'a pas directement. L'exemple classique, demander combien il y a de "r" dans "strawberry", a piégé de nombreux modèles quand il est devenu célèbre en 2024. Les modèles récents répondent en général correctement, souvent en épelant le mot lettre par lettre avant de compter, un contournement qu'ils ont appris. La limite n'a pas disparu ; les modèles ont appris à la compenser, de façon plus ou moins fiable selon le modèle et la tâche.
Un tableau de vecteurs
À côté du vocabulaire, le modèle garde un tableau avec une ligne par token. Chaque ligne contient quelques nombres : dans le vocabulaire du premier article, un vecteur. Dans notre modèle jouet, chaque vecteur a trois nombres, le tableau a donc trois colonnes. Elles n'ont pas de nom : simplement Colonne 1, Colonne 2 et Colonne 3.
La recherche
Transformer un token en vecteur n'est qu'une recherche : prendre l'identifiant, aller à cette ligne, recopier ses trois nombres. "speak" devient [0,3 ; 0,9 ; 0,0]. Il n'y a ni calcul ni intelligence là-dedans. Un vrai modèle ajoute aussi quelques nombres qui codent la position de chaque token dans la phrase, pour qu'il connaisse l'ordre des mots ; nous les laissons de côté pour garder le jouet simple.
D'où viennent les nombres
Avant l'entraînement, chaque case de ce tableau contient un nombre aléatoire. L'entraînement les ajuste ensuite avec la même boucle que pour le neurone anti-spam : deviner, mesurer l'erreur, ajuster. Le troisième article explique d'où viennent les réponses pour un modèle de langage. Ce qui compte ici, c'est l'effet de ces ajustements sur le tableau.
L'entraînement n'apprend jamais ce qu'est une langue. Ce qu'il découvre, c'est que "French", "English" et "German" peuvent se remplacer les uns les autres dans des millions de phrases : après "I speak", avant "fluently", à côté de "translate into". Chaque correction qui aide le modèle à prédire ce qui suit "French" l'aide aussi avec "English" : les deux lignes sont poussées dans la même direction, encore et encore. À la fin, elles contiennent des nombres semblables. Les tokens qui fréquentent la même compagnie finissent avec des lignes semblables.
Nommer les colonnes, après coup
Regardez maintenant le tableau terminé et posez une question simple : quels tokens ont un score élevé dans chaque colonne ? Dans la colonne 1, ce sont "Esper", "French", "English" et "fluently" : des tokens qui ont à voir avec les langues. Dans la colonne 2, "speak", "truth", "fluently" et "loudly" : des tokens qui ont à voir avec la parole. Dans la colonne 3, "I" et "you" : des personnes. Nous donnons donc des surnoms aux colonnes : « langue », « parole », « personne ».
L'ordre compte, et les surnoms viennent ensuite. Ils décrivent ce que nous observons dans les nombres ; personne ne les y a mis. Nous les utiliserons désormais, parce que « la colonne langue » se lit mieux que « la colonne 1 », mais ce restent des étiquettes collées après coup.
Une réserve. Dans notre jouet, chaque colonne correspond proprement à une idée, parce que nous avons choisi les nombres pour rendre l'exemple lisible. Dans un vrai modèle, avec des milliers de colonnes, c'est rarement aussi net : une idée comme « langue » est en général répartie sur de nombreuses colonnes à la fois, et une seule colonne mélange plusieurs idées. Les chercheurs peuvent malgré tout trouver, dans un modèle entraîné, des directions qui correspondent à des idées qu'un humain reconnaîtrait, et leur étude est devenue un domaine à part entière, l'interprétabilité[3]. Dans ces modèles, le sens n'est jamais conçu à l'avance : on ne peut que le découvrir après l'entraînement.
Ce que disent les nombres
Trois nombres par token font de chaque token un point dans un espace à trois dimensions. Pour le dessiner sur un écran ou une page, nous ne gardons que deux des trois colonnes, « langue » et « parole », et mettons la troisième de côté :
Les tokens employés de façon semblable se retrouvent proches : "French" et "English" sont voisins, tout comme "truth" et "loudly". Et "speak" est seul, entre les deux groupes. Sa ligne est la même, que la phrase se termine par "French" ou par "the truth" : le tableau seul ne peut pas savoir quel sens est visé. "Esper" et "anto", les deux morceaux d'un mot rare, sont faibles sur les deux colonnes. Corriger tout cela est le travail de l'attention, dans la section suivante.
Observé, pas garanti
Rien dans cette méthode ne garantit que des sens utiles apparaîtront. Les chercheurs ont créé les conditions (un grand tableau, beaucoup de texte, une règle pour ajuster les nombres), laissé l'entraînement tourner, puis examiné ce qui en sortait. La première fois que cela a été fait à grande échelle, en 2013, le résultat a frappé les esprits : les mots s'étaient organisés selon leur sens, sans que personne ne leur dise comment[4]. La même approche a été répétée à chaque nouvelle échelle depuis, et le résultat a tenu à chaque fois. Même les « lois d'échelle », qui prédisent de combien un modèle s'améliore avec plus de données et de puissance de calcul, sont des régularités trouvées par l'expérience et non des théorèmes mathématiques[5].
Comme pour le neurone anti-spam (premier article, chapitre 3), c'est quelque chose que l'on observe et que l'on mesure après coup, et non quelque chose que l'on peut démontrer à l'avance.