02Neurones et couches
Ce que calcule un neurone artificiel, comment les neurones forment des couches, et pourquoi une couche n'est qu'un tableau de nombres.
Le Transformer est un réseau de neurones ; avant d'aller plus loin, il est donc utile de savoir ce que fait un neurone. En IA, le mot est emprunté à la biologie, et l'emprunt est lâche. Un neurone artificiel est un tout petit calcul, assez simple pour être fait au dos d'une enveloppe.
Un neurone : un vote pondéré
Prenons une tâche que toute entreprise connaît : décider si un courriel est un spam. Un neurone regarde quelques indices, qui valent chacun 1 (oui) ou 0 (non). Chaque indice est une vérification que quelques lignes de code savent faire : chercher un mot, ou chercher l'expéditeur dans le carnet d'adresses.
- Le courriel contient-il le mot « gratuit » ?
- L'expéditeur est-il inconnu ?
- Mentionne-t-il mon nom ?
Chaque indice a un poids, un nombre qui dit combien il compte et dans quel sens. « Gratuit » pousse fortement vers le spam (+2). Un expéditeur inconnu pousse un peu (+1). Mon nom dans le courriel pousse contre le spam (−2), car les spammeurs le connaissent rarement. Le neurone multiplie chaque indice par son poids, additionne le tout, et compare le total à un seuil, ici 2,5. Si le total dépasse le seuil, le neurone « se déclenche » et transmet de combien il dépasse le seuil. Sinon, il reste silencieux et transmet 0.
C'est tout ce que fait un neurone : multiplier, additionner, comparer à un seuil, transmettre le résultat ou rien. L'intelligence, s'il y en a, est dans les poids. Avec de mauvais poids, le même neurone signalerait vos collègues et laisserait passer le spam. Choisir de bons poids s'appelle l'entraînement, et le chapitre 3 montre comment cela fonctionne.
L'idée est ancienne, comme l'a rappelé le chapitre 1, et le cerveau ne l'a inspirée que de loin : un neurone biologique reçoit lui aussi des signaux, les pondère et se déclenche au-delà d'un seuil, mais la ressemblance s'arrête là.
À l'intérieur d'un neurone : deux étapes
Première étape : un total pondéré
Le neurone multiplie chaque entrée par son poids et additionne le tout. Il ajoute ensuite un dernier nombre qui lui est propre, appelé le biais, qui joue le rôle du seuil : un seuil de 2,5 équivaut à un biais de −2,5. Pour le courriel de notre exemple : 1 × 2 + 1 × 1 + 0 × (−2) − 2,5 = 0,5. Cette première valeur peut être n'importe quel nombre, grand ou petit, positif ou négatif. Seule, elle ne veut pas dire grand-chose.
Deuxième étape : un coude
Le total passe ensuite par une fonction fixe, la même pour tous les neurones d'une couche, appelée fonction d'activation. Trois méritent d'être connues :
Pourquoi ce coude compte-t-il ? Pour trois raisons.
- Il donne un sens à la sortie. La sigmoïde transforme n'importe quel total en un score entre 0 et 1 qui se lit comme un degré de confiance : 0,86 signifie « assez sûr que c'est un spam », 0,27 signifie « probablement pas ». La décision consiste alors à placer la limite, en général à 0,5.
- Il permet l'apprentissage. Avec la marche d'origine, oui ou non[6], un petit changement des poids ne change en général rien à la sortie : l'entraînement ne peut pas savoir s'il se rapproche du but. Avec une courbe lisse, chaque petit changement d'un poids produit un petit changement du score, et c'est ce qui indique à l'entraînement dans quel sens ajuster.
- Il rend les couches utiles. Sans coude, une couche n'est qu'une suite de totaux pondérés, et des totaux pondérés de totaux pondérés se ramènent à un seul total pondéré. Quel que soit le nombre de couches empilées, elles ne feraient pas plus qu'une seule. C'est le coude qui permet à une deuxième couche de construire des « motifs de motifs », comme le montre l'exemple suivant. Les grands réseaux utilisent aujourd'hui surtout le coude le plus simple de tous, ReLU, ou des variantes plus douces[7].
Plusieurs neurones : les couches
Un neurone seul ne peut que pondérer les indices qu'on lui donne. Il ne sait pas exprimer « suspect quand deux choses arrivent ensemble ». Prenons une question plus difficile : ce courriel est-il une tentative de phishing ? Aucun indice ne suffit à trancher. Un ton pressant est normal chez un collègue ; un lien est normal dans une lettre d'information. Ce qui trahit le phishing, c'est une combinaison.
La solution consiste à empiler les neurones en couches. Les neurones d'une première couche regardent chacun les indices bruts et détectent un motif simple. Les neurones de la couche suivante ne regardent pas du tout le courriel. Ils regardent les sorties de la première couche et les combinent :
Le poids négatif compte : un poids peut jouer contre une conclusion. Chaque couche s'appuie sur celle du dessous : des motifs, puis des motifs de motifs. La reconnaissance d'images en donne l'exemple le plus célèbre. Dans des réseaux entraînés sur des photographies, les chercheurs ont trouvé des premières couches qui détectent des contours, des couches intermédiaires qui combinent les contours en formes, et des couches plus profondes qui combinent les formes en visages ou en objets[8]. Personne n'avait programmé ces étapes. Elles sont apparues parce qu'elles aidaient le réseau à faire son travail.
D'où viennent les indices ?
Dans nos deux exemples, les indices sont préparés par un programme simple : il cherche un mot dans le courriel, ou l'expéditeur dans le carnet d'adresses. Un humain a choisi quels indices vérifier. Pendant des décennies, l'apprentissage automatique a fonctionné ainsi. Les ingénieurs consacraient l'essentiel de leurs efforts à concevoir les bons indices pour chaque problème, un savoir-faire appelé ingénierie des caractéristiques (feature engineering), et le réseau apprenait seulement à les pondérer. S'il manquait un indice utile dans la liste, aucun entraînement ne pouvait compenser.
Le grand changement des quinze dernières années, c'est que les réseaux apprennent désormais leurs propres indices. Donnez à un réseau une matière brute et assez de couches : ses premières couches apprennent à extraire des indices utiles, que les couches suivantes combinent. Personne ne lui dit quoi chercher. On date en général le tournant de 2012, quand un réseau profond entraîné sur des images brutes a remporté de très loin un grand concours de reconnaissance d'images[9].
Un Transformer fonctionne ainsi. Il ne reçoit aucun indice préparé sur le texte, seulement le texte lui-même, découpé en morceaux par une procédure mécanique. Le deuxième article l'explique : c'est la première chose qu'un modèle de langage doit faire autrement que notre filtre anti-spam. Tout le reste, y compris ce qu'il faut remarquer et ce qu'il faut combiner, s'apprend pendant l'entraînement.
Une couche est un tableau
Il existe une façon plus simple de voir une couche, et elle comptera pour toute la suite de cette série. Reprenons le réseau anti-phishing. Écrivons les poids de chaque neurone de la couche 1 sur une ligne, avec une colonne par indice et le biais à la fin. Faisons de même pour la couche 2, qui n'a qu'un neurone, « Phishing », lisant les deux sorties de la couche 1. Le réseau entier tient maintenant en deux petits tableaux. Faisons-y passer deux courriels. Ils sont identiques (ton pressant, demande de mot de passe, lien), sauf que le courriel A vient d'un expéditeur inconnu et le courriel B d'un contact.
Suivons le courriel A. Dans la couche 1, chaque ligne est multipliée par les indices du courriel, puis additionnée : « Pression » donne 2 + 2 − 3 = 1, « Lien douteux » donne 2 − 1 = 1. Le coude de la couche 1 laisse passer les totaux positifs tels quels : les deux transmettent 1. Dans la couche 2, « Phishing » multiplie ces deux sorties par ses propres poids : 1,5 + 1,5 − 2 = 1. Son coude, une sigmoïde, transforme ce total en un score de 0,73, au-dessus de 0,5 : phishing.
Passons au courriel B. La seule différence est le contact, qui porte un poids de −3 dans la ligne « Lien douteux ». Son total tombe à 2 − 3 − 1 = −2, et le coude le ramène à 0 : l'expéditeur étant connu, le lien n'éveille aucun soupçon. La couche 2 reçoit maintenant 1 et 0, et totalise 1,5 − 2 = −0,5, soit un score de 0,38 : pas de phishing. Un seul indice, à travers deux tableaux et deux coudes, a changé le verdict.
Voilà le réseau complet : indices, tableau, coude, tableau, coude, verdict. Un réseau plus grand a seulement plus de colonnes, plus de lignes et plus de tableaux.
Tableaux, matrices et vecteurs
Ces tableaux ne sont pas qu'une image commode. En mathématiques, un tableau de nombres rangés en lignes et en colonnes est un objet à part entière, appelé matrice, et une seule ligne ou colonne de nombres s'appelle un vecteur. Ils relèvent d'une branche bien établie des mathématiques, l'algèbre linéaire, qui étudie depuis plus d'un siècle ce que l'on peut en faire et comment le faire efficacement.
Tout ce que fait un réseau de neurones est un calcul sur des matrices. Les poids d'une couche forment une matrice. Les entrées qu'elle reçoit forment un vecteur. Calculer la couche, ligne par ligne, multiplier et additionner, c'est ce que les mathématiciens appellent multiplier une matrice par un vecteur. Traitez mille courriels à la fois, et les mille vecteurs d'entrée s'empilent en une seconde matrice : tout le lot devient une seule multiplication d'une matrice par une autre. Quand l'article suivant « découpe » du texte dans tous les sens, c'est toujours cela : un très grand nombre de calculs très simples, organisés en opérations sur des matrices.
C'est aussi pourquoi le vocabulaire de l'IA est plein de ces mots. Les lignes de nombres qui représentent les tokens s'appellent des vecteurs (deuxième article, chapitre 1). La « correspondance » entre deux d'entre eux, multiplier colonne par colonne puis additionner, est ce que les mathématiciens appellent un produit scalaire (deuxième article, chapitre 2). Et quand une matrice a plus de deux dimensions, une pile de tableaux plutôt qu'un seul, on l'appelle un tenseur : c'est de là que les « tensor cores » des processeurs graphiques tirent leur nom.
Trois conséquences en découlent :
- Un réseau est une pile de tableaux. Chaque couche est un tableau de poids, appliqués l'un après l'autre, avec un coude entre les deux. Chaque nombre de chaque tableau est un poids, et ce sont les poids que l'entraînement ajuste.
- Les tableaux deviennent très grands. Nos tableaux ont une poignée de cases. Une couche qui lit 4 000 nombres et contient 16 000 neurones est un tableau de 64 millions de poids, et un grand modèle de langage empile des dizaines de couches de ce genre. Quand on dit qu'un modèle a « des milliards de paramètres », ce sont ces nombres que l'on compte.
- C'est partout la même opération. Multiplier et additionner, répété sur d'immenses tableaux, et répété encore pour chaque courriel, ou chaque mot, traité. Un matériel capable de faire des milliers de ces multiplications en même temps, ce que font précisément les processeurs graphiques (GPU), a donc un avantage décisif. Le troisième article de cette série explique pourquoi cela rend les GPU si centraux, et si chers.