01Des mots aux vecteurs

Comment le texte est découpé en tokens, comment chaque token devient une ligne de nombres, et d'où viennent ces nombres.

Où nous en sommes dans le modèle de langageTexte brut, vecteurs, attention, réseau, mot suivant ; l'étape en cours est mise en évidence.Texte brutdécoupé en tokensVecteurschapitre 1Attentionchapitre 2Réseauchapitre 3Mot suivantchapitre 3

D'un filtre anti-spam à un modèle de langage

Le premier article de cette série nous a donné tout ce dont un réseau de neurones est fait : des neurones qui multiplient, additionnent et coudent ; des couches qui sont des tableaux de poids ; et une boucle d'entraînement qui ajuste ces poids à partir d'exemples. Un modèle de langage comme Claude ou ChatGPT est construit exactement avec ces pièces. Mais le filtre anti-spam avait la tâche facile sur trois points, et un modèle de langage n'a aucun de ces avantages.

  • Ses entrées étaient préparées pour lui. Le neurone anti-spam n'a jamais lu un courriel. Un petit programme le lisait, et donnait au neurone cinq nombres, 1 ou 0, un par indice. Un modèle de langage reçoit du texte brut : des mots, dans n'importe quel ordre, de n'importe quelle longueur. Avant qu'un neurone puisse travailler, le texte doit devenir des nombres. C'est l'objet de cette section.
  • Chaque indice voulait toujours dire la même chose. « Contient un lien », c'est un lien, quoi que dise le reste du courriel. Dans la langue, le sens d'un mot dépend des mots qui l'entourent : "speak" ne veut pas dire la même chose dans "I speak French" (je parle français) et dans "I speak the truth" (je dis la vérité). Les mots doivent pouvoir s'informer les uns les autres avant que les neurones les traitent. C'est le rôle de l'attention (chapitre 2).
  • Il répondait à une question par un score. Spam ou pas, un seul nombre entre 0 et 1. Un modèle de langage répond à une autre question, encore et encore : de tous les mots qu'il connaît, lequel vient ensuite ? Sa sortie est une probabilité pour chaque mot de son vocabulaire (chapitre 3).
D'un filtre anti-spam à un modèle de langageLe filtre anti-spam : des indices préparés, des tableaux et des coudes, un score. Le modèle de langage : du texte brut, des vecteurs, l'attention, le même genre de tableaux et de coudes répétés couche après couche, et une probabilité pour chaque mot suivant. Le filtre anti-spam (premier article) Indicespréparés d'avance Tableaux et coudesneurones, couches Un scorespam ou pas mêmes briques Le modèle de langage (cet article) Texte brutdécoupé en tokens Vecteurschapitre 1 Attentionchapitre 2 Réseauchapitre 3 Mot suivantprobabilités répété couche après couche déjà connu (premier article) nouveau pour la langue

À partir d'ici, nous suivons une seule phrase, "I speak Esperanto", à travers un modèle de langage jouet assez petit pour être calculé à la main. Comme le classeur d'accompagnement, ce modèle jouet travaille en anglais : ses tokens restent en anglais dans tout l'article. Ses tableaux sont minuscules, mais ce sont de vrais tableaux, et tout ce qu'il fait se ramène à multiplier, additionner et couder, comme vous le savez déjà.

Tokens et identifiants

Le texte est d'abord découpé en morceaux appelés tokens. Un token est souvent un mot entier, mais les mots rares sont découpés en plusieurs morceaux. Dans "I speak Esperanto", les mots "I" et "speak" sont assez courants pour être des tokens à part entière, mais "Esperanto" est découpé en "Esper" et "anto". Remarquez que l'espace voyage avec le mot qui le suit : le modèle reçoit "I", " speak", " Esper", "anto".

Notre modèle jouet ne connaît que douze tokens. Chacun a un numéro, son identifiant, comme un numéro de ligne dans une liste : "I speak Esperanto" devient donc 0, 1, 2, 3. À partir de là, le modèle ne voit plus jamais de lettres, seulement des nombres.

Qui décide où couper ?

Pas le modèle. Le découpage est fait par un outil séparé et bien plus simple, le tokenizer, construit avant l'entraînement du modèle. Il ne sait rien du sens ; il travaille uniquement sur les fréquences.

La méthode la plus courante, le byte-pair encoding[1][2], part d'un grand échantillon de texte découpé en caractères isolés. Elle trouve la paire de voisins qui apparaît le plus souvent, par exemple "e" suivi de "a", et la fusionne en un nouveau morceau. Puis elle recommence, encore et encore, des milliers de fois, jusqu'à ce que le vocabulaire atteigne sa taille cible, en général entre 30 000 et 200 000 morceaux.

Comment un tokenizer construit son vocabulaireLes paires fréquentes sont fusionnées pas à pas jusqu'à ce que speak devienne un seul token ; Esperanto reste en deux morceaux.Départ : des caractères isolésPaire la plus fréquente : e + aPuis : s + pPuis : ea + kPuis : sp + eakspeakspeakspeakspeakspeakUn seul tokenUn mot plus rare reste en morceaux␣EsperantoEn orange : la paire fusionnée à cette étape. L'ordre des fusions est illustratif.
Byte-pair encoding : les morceaux voisins les plus fréquents sont fusionnés, encore et encore, jusqu'à ce que le vocabulaire atteigne sa taille cible [1][2].

Les mots fréquents comme "speak" finissent en un seul token ; les mots rares comme "Esperanto" restent en morceaux, parce que les fusions qui les compléteraient ne sont jamais assez bien classées. Une fois construit, le tokenizer est figé : le même texte est toujours découpé de la même façon. C'est aussi pourquoi les coupures ignorent la grammaire. "Esper" et "anto" ne sont pas des parties du mot qui ont un sens, seulement des morceaux statistiquement commodes.

Deux conséquences pratiques. D'abord, rien n'est jamais inconnu : n'importe quel mot peut être construit à partir de morceaux plus petits, jusqu'aux caractères isolés si nécessaire, si bien que le modèle peut toujours traiter un nouveau nom de marque, une faute de frappe ou un code produit. Ensuite, certaines tâches simples deviennent étonnamment difficiles. Le modèle ne voit jamais de lettres, seulement des bouts de mots : compter les lettres d'un mot, l'écrire à l'envers ou rédiger un texte d'un nombre exact de caractères l'oblige à travailler à partir d'une information qu'il n'a pas directement. L'exemple classique, demander combien il y a de "r" dans "strawberry", a piégé de nombreux modèles quand il est devenu célèbre en 2024. Les modèles récents répondent en général correctement, souvent en épelant le mot lettre par lettre avant de compter, un contournement qu'ils ont appris. La limite n'a pas disparu ; les modèles ont appris à la compenser, de façon plus ou moins fiable selon le modèle et la tâche.

Un tableau de vecteurs

À côté du vocabulaire, le modèle garde un tableau avec une ligne par token. Chaque ligne contient quelques nombres : dans le vocabulaire du premier article, un vecteur. Dans notre modèle jouet, chaque vecteur a trois nombres, le tableau a donc trois colonnes. Elles n'ont pas de nom : simplement Colonne 1, Colonne 2 et Colonne 3.

Modèle jouet : un tableau de vecteurs aux colonnes sans nomDouze tokens, trois colonnes sans nom ; les surnoms sont ajoutés après coup, en regardant quels tokens ont un score élevé dans chaque colonne."I speak Esperanto"IID 0␣speakID 1␣EsperID 2antoID 3Chaque ID désigne une ligne.Les nombres de la ligne sont le vecteur.Aucun calcul : une simple recherche.IDTokenColonne 1Colonne 2Colonne 30I0,00,10,91␣speak0,30,90,02␣Esper0,60,20,03anto0,50,10,04␣French0,90,20,15␣English0,90,30,16␣truth0,00,60,07␣fluently0,70,80,08␣loudly0,00,80,09␣the0,10,10,110␣you0,00,10,911.0,00,10,0Qui a un score élevé ?Esper, French,English, fluentlyspeak, truth,fluently, loudlyI, youSurnom, donné après couplangueparolepersonne
apprischoisi Notre modèle jouet. En gras : les scores élevés de chaque colonne. Les surnoms décrivent ce que nous observons ; personne ne les a intégrés. Les valeurs ont été choisies à la main pour être lisibles ; dans un vrai modèle, elles sont apprises.

La recherche

Transformer un token en vecteur n'est qu'une recherche : prendre l'identifiant, aller à cette ligne, recopier ses trois nombres. "speak" devient [0,3 ; 0,9 ; 0,0]. Il n'y a ni calcul ni intelligence là-dedans. Un vrai modèle ajoute aussi quelques nombres qui codent la position de chaque token dans la phrase, pour qu'il connaisse l'ordre des mots ; nous les laissons de côté pour garder le jouet simple.

D'où viennent les nombres

Avant l'entraînement, chaque case de ce tableau contient un nombre aléatoire. L'entraînement les ajuste ensuite avec la même boucle que pour le neurone anti-spam : deviner, mesurer l'erreur, ajuster. Le troisième article explique d'où viennent les réponses pour un modèle de langage. Ce qui compte ici, c'est l'effet de ces ajustements sur le tableau.

L'entraînement n'apprend jamais ce qu'est une langue. Ce qu'il découvre, c'est que "French", "English" et "German" peuvent se remplacer les uns les autres dans des millions de phrases : après "I speak", avant "fluently", à côté de "translate into". Chaque correction qui aide le modèle à prédire ce qui suit "French" l'aide aussi avec "English" : les deux lignes sont poussées dans la même direction, encore et encore. À la fin, elles contiennent des nombres semblables. Les tokens qui fréquentent la même compagnie finissent avec des lignes semblables.

Le tableau avant et après l'entraînementAvant l'entraînement, les tokens sont placés au hasard ; après l'entraînement, les tokens employés dans des contextes semblables se sont rapprochés.Avant l'entraînementDes nombres aléatoiresAprès l'entraînementMême compagnie, même placeFrenchEnglishtruthloudlyspeakIyouFrenchEnglishtruthloudlyspeakIyoudes milliards depetits ajustementsLes humains choisissent la taille du tableau. L'entraînement choisit chacun de ses nombres.
appris Illustratif. En pratique, les valeurs de départ sont aléatoires mais petites : tous les tokens commencent regroupés près du centre de la carte.

Nommer les colonnes, après coup

Regardez maintenant le tableau terminé et posez une question simple : quels tokens ont un score élevé dans chaque colonne ? Dans la colonne 1, ce sont "Esper", "French", "English" et "fluently" : des tokens qui ont à voir avec les langues. Dans la colonne 2, "speak", "truth", "fluently" et "loudly" : des tokens qui ont à voir avec la parole. Dans la colonne 3, "I" et "you" : des personnes. Nous donnons donc des surnoms aux colonnes : « langue », « parole », « personne ».

L'ordre compte, et les surnoms viennent ensuite. Ils décrivent ce que nous observons dans les nombres ; personne ne les y a mis. Nous les utiliserons désormais, parce que « la colonne langue » se lit mieux que « la colonne 1 », mais ce restent des étiquettes collées après coup.

Une réserve. Dans notre jouet, chaque colonne correspond proprement à une idée, parce que nous avons choisi les nombres pour rendre l'exemple lisible. Dans un vrai modèle, avec des milliers de colonnes, c'est rarement aussi net : une idée comme « langue » est en général répartie sur de nombreuses colonnes à la fois, et une seule colonne mélange plusieurs idées. Les chercheurs peuvent malgré tout trouver, dans un modèle entraîné, des directions qui correspondent à des idées qu'un humain reconnaîtrait, et leur étude est devenue un domaine à part entière, l'interprétabilité[3]. Dans ces modèles, le sens n'est jamais conçu à l'avance : on ne peut que le découvrir après l'entraînement.

Ce que disent les nombres

Trois nombres par token font de chaque token un point dans un espace à trois dimensions. Pour le dessiner sur un écran ou une page, nous ne gardons que deux des trois colonnes, « langue » et « parole », et mettons la troisième de côté :

Le vocabulaire jouet sur une carteLes tokens placés selon leur score de langue (horizontal) et de parole (vertical).Colonne 1, surnommée « langue » →Colonne 2, surnommée « parole » ↑011LanguesDireFrenchEnglishtruthloudlyspeakfluentlyEsperantoIthe
appris Seules deux des trois colonnes sont dessinées, pour que la carte tienne sur une page. "I" et "you" se superposent ici parce qu'ils ne diffèrent que par la colonne 3, qui n'est pas représentée.

Les tokens employés de façon semblable se retrouvent proches : "French" et "English" sont voisins, tout comme "truth" et "loudly". Et "speak" est seul, entre les deux groupes. Sa ligne est la même, que la phrase se termine par "French" ou par "the truth" : le tableau seul ne peut pas savoir quel sens est visé. "Esper" et "anto", les deux morceaux d'un mot rare, sont faibles sur les deux colonnes. Corriger tout cela est le travail de l'attention, dans la section suivante.

Observé, pas garanti

Rien dans cette méthode ne garantit que des sens utiles apparaîtront. Les chercheurs ont créé les conditions (un grand tableau, beaucoup de texte, une règle pour ajuster les nombres), laissé l'entraînement tourner, puis examiné ce qui en sortait. La première fois que cela a été fait à grande échelle, en 2013, le résultat a frappé les esprits : les mots s'étaient organisés selon leur sens, sans que personne ne leur dise comment[4]. La même approche a été répétée à chaque nouvelle échelle depuis, et le résultat a tenu à chaque fois. Même les « lois d'échelle », qui prédisent de combien un modèle s'améliore avec plus de données et de puissance de calcul, sont des régularités trouvées par l'expérience et non des théorèmes mathématiques[5].

Comme pour le neurone anti-spam (premier article, chapitre 3), c'est quelque chose que l'on observe et que l'on mesure après coup, et non quelque chose que l'on peut démontrer à l'avance.