03Comment un réseau apprend

La boucle d'entraînement, trois façons d'apprendre, la rétropropagation, et pourquoi un réseau n'a jamais raison à tous les coups.

La boucle d'entraînement

Imaginez un ingénieur du son devant une table de mixage dotée de milliards de boutons, à qui l'on dit après chaque enregistrement dans quel sens tourner chacun d'eux, et de combien. Aucun bouton ne comprend la musique, et pourtant, après assez d'enregistrements, la table joue juste. L'entraînement d'un réseau de neurones fonctionne exactement ainsi. Les poids du chapitre 2, c'est nous qui les avons choisis ; en pratique, personne ne les choisit. L'entraînement les trouve, en répétant la même boucle jusqu'à ce que le réseau cesse de progresser :

La boucle d'entraînementPartir de poids aléatoires, puis répéter : passe avant, erreur, gradient, ajustement. Départpoids aléatoires Passe avantpasser les exemples Erreurvs bonnes réponses Gradientquel sens, combien Ajustementun petit pas ↻ répéter, jusqu'à ce que l'erreur cesse de baisser Notre neurone : 60 courriels, 445 tours. Un LLM : des milliers de milliards de mots, environ un million de tours.
  • Départ. Tous les poids reçoivent des valeurs aléatoires. Le réseau ne sait rien, et ses réponses ne valent pas mieux que le hasard.
  • Passe avant. Les exemples traversent le réseau, couche après couche, tableau après tableau, et le réseau produit ses réponses.
  • Erreur. Chaque réponse est comparée à la bonne, fournie par une personne lors de l'étiquetage des exemples. L'écart est l'erreur.
  • Gradient. Pour chaque poids, l'entraînement calcule dans quel sens il devrait tourner, et avec quelle force, pour réduire l'erreur. Ce couple, sens et force, pour tous les poids à la fois, s'appelle le gradient.
  • Ajustement. Chaque poids fait un petit pas dans la direction qu'indique son gradient. Puis la boucle recommence.

L'image habituelle du gradient est celle d'un randonneur perdu dans le brouillard à flanc de montagne, qui cherche à rejoindre la vallée. Il ne voit pas où elle se trouve, mais il sent la pente sous ses pieds, et s'il descend toujours, il finira par y arriver. Le paysage est l'erreur, la position du randonneur est l'ensemble des poids, et la pente est le gradient. C'est pourquoi la méthode s'appelle la descente de gradient.

Reste une question : quelle doit être la longueur de chaque enjambée ? C'est la taille du pas (les spécialistes disent aussi taux d'apprentissage, ou learning rate), et ce sont les ingénieurs qui la choisissent ; elle ne s'apprend pas. Le gradient dit où est la descente et à quel point elle est raide ; la taille du pas dit jusqu'où aller. Trop courte, et le randonneur est en sécurité mais désespérément lent. Trop longue, et il dépasse le but : une enjambée de géant l'emporte au-delà du fond de la vallée et sur la pente d'en face, la suivante le ramène au-delà dans l'autre sens, et il ne se pose jamais au fond. Pour le réseau, cela donne une erreur qui monte et descend au lieu de baisser.

L'entraînement, tour après tour

Notre neurone anti-spam regarde maintenant cinq indices : le mot « gratuit », un expéditeur inconnu, mon nom dans le courriel, le mot « urgent », et un lien. Pour l'entraîner, nous avons 80 courriels, chacun étiqueté par une personne. Nous en utilisons 60 pour l'entraînement, et en gardons 20 de côté. Le neurone n'apprend jamais de ces 20 ; ils servent seulement à vérifier ses progrès.

L'entraînement vu à travers le tableau des poidsUn neurone anti-spam à cinq indices aux tours 0, 20, 100 et 445 : poids, scores de deux exemples, et précision sur les courriels mis de côté.Courriel de spam : contient « gratuit », expéditeur inconnu, « urgent », un lien. Bonne réponse : spam (1).Courriel d'un collègue : utilise mon nom, rien d'autre. Bonne réponse : pas un spam (0).Poids, un par indiceScoresTourgratuitexpéd.inconnumonnomurgentlienbiaiscourrielspamcourrielcollèguejustes surmis de côté0aléatoire−0,2−0,30,1−0,40,0−0,10,26 ✗0,50 ?50 %200,30,4−0,20,00,6−0,60,68 ✓0,31 ✓65 %1001,01,5−0,70,51,5−2,10,92 ✓0,06 ✓80 %445arrêt1,82,4−1,10,72,6−3,70,98 ✓0,01 ✓80 %20 tours d'ajustement80 tours de plus345 tours de plusLe même tableau à chaque tour : seuls les poids changent. Score au-dessus de 0,5 = signalé comme spam.Arrêt au tour 445 : à partir de là, l'erreur sur les courriels mis de côté ne baisse plus.
Entraînement réel : 80 courriels, 60 pour l'entraînement et 20 mis de côté, poids de départ aléatoires, taille du pas 0,5.

Tour 0 : poids aléatoires

Les poids sont tirés au hasard. Les verdicts du neurone ne valent pas mieux qu'un pile ou face : justes sur 50 % des courriels mis de côté. Le spam évident du tableau obtient un score de 0,26 : le neurone le laisse passer. Le courriel du collègue obtient 0,50 : le neurone n'en a aucune idée.

Le premier ajustement, à la main

Pour un neurone seul, la règle est simple. L'erreur est la bonne réponse (1 pour un spam, 0 sinon) moins le score. Chaque indice présent dans le courriel voit son poids déplacé de cette erreur, multipliée par une petite taille de pas ; les indices absents du courriel ne bougent pas, et le biais bouge comme un indice présent. Prenons le spam évident : son score est de 0,26 alors qu'il devrait être de 1, l'erreur vaut donc +0,74. Avec une taille de pas de 0,5, les quatre indices qu'il contient (« gratuit », « expéditeur inconnu », « urgent », « lien ») gagnent chacun 0,5 × 0,74 = 0,37. « Mon nom », absent, ne bouge pas. Le neurone penche désormais vers le spam pour les courriels de ce genre.

À chaque tour

En pratique, les ajustements des 60 courriels d'entraînement sont moyennés et appliqués ensemble, une fois par tour. Tour après tour, les poids prennent forme. « Gratuit », « expéditeur inconnu » et « lien » deviennent positifs. « Mon nom » devient négatif. Le biais descend, ce qui relève la barre pour qualifier un courriel de spam. Au tour 20, le neurone a raison 65 % du temps. Il atteint 80 % vers le tour 30 et y est toujours au tour 100.

L'entraînement du neurone anti-spam à cinq indicesLa précision sur les courriels d'entraînement et sur ceux mis de côté passe d'environ 50 à 80 %, après un creux dans les premiers tours, puis plafonne ; l'entraînement s'arrête au tour 445.0 %50 %100 %0125102030501002004451000arrêt : tour 445premiers tours : un creuxTour d'entraînement (échelle irrégulière)Entraînement : 60 courrielsMis de côté : 20 courriels
Le même entraînement que dans le tableau ci-dessus. Le plafond de 80 % est le mieux que permettent ces cinq indices sur ces données.

Trois choses méritent d'être remarquées dans cette courbe :

  • L'erreur baisse régulièrement, le score non. L'erreur moyenne sur les courriels mis de côté baisse à chaque tour, de 0,77 à 0,43. La part de bonnes réponses progresse par sauts, et baisse même dans les premiers tours. L'entraînement suit l'erreur : chaque tour rend le neurone un peu moins faux en moyenne, même quand un verdict isolé bascule du mauvais côté.
  • Personne n'a fixé les poids. Ils sont sortis des 60 courriels. Dans cet échantillon, les liens se trouvaient être très fréquents dans les spams : le neurone a donc donné au « lien » son poids le plus fort. Un autre échantillon donnerait des poids un peu différents. Un réseau est un résumé de ses données, avec leurs bizarreries.
  • Les progrès ralentissent. Le neurone atteint 80 % dès le tour 30. Ensuite, il continue d'affiner ses scores mais ne change plus aucun verdict.

Quand s'arrêter

L'entraînement ne s'arrête pas quand le neurone est parfait, car il ne le sera jamais. Il s'arrête quand les courriels mis de côté ne montrent plus de progrès. Ici, l'erreur sur ces courriels baisse jusqu'au tour 445, puis cesse de baisser, et commence même à remonter très légèrement. C'est le signal. Continuer ne ferait qu'apprendre au neurone les bizarreries de ses 60 courriels d'entraînement, qui ne se retrouvent pas dans les nouveaux. Les spécialistes appellent cela le surapprentissage (overfitting), et la règle d'arrêt l'arrêt précoce (early stopping). Dans un vrai projet, un second critère s'applique : le réseau est-il assez précis pour son usage ? C'est une décision métier. Un filtre anti-spam juste 80 % du temps peut être acceptable ; un outil de tri médical peut exiger bien davantage, et ne jamais y parvenir avec les données disponibles.

À essayer. Dans le classeur d'accompagnement (en anglais), l'onglet « Training a neuron » rejoue ces tours avec des formules vivantes. Passez la taille du pas de 0,5 à 0,05, et notre neurone anti-spam met bien plus longtemps à devenir un professionnel aguerri : après 500 tours, il apprend encore. Montez-la à 20, et il dépasse le but, comme le randonneur aux enjambées de géant : l'erreur sur les courriels mis de côté monte et descend sans jamais se stabiliser.

Trois façons d'apprendre

Le neurone anti-spam a appris à partir de courriels qu'une personne avait étiquetés « spam » ou « pas un spam ». Apprendre à partir d'exemples accompagnés de leur bonne réponse s'appelle l'apprentissage supervisé. C'est la forme la plus courante d'apprentissage automatique, et sa principale limite est l'étiquetage lui-même : quelqu'un doit fournir les réponses, ce qui est lent et coûteux à grande échelle. Deux autres familles existent :

  • L'apprentissage non supervisé se passe de réponses. Le réseau reçoit des données et y cherche une structure par lui-même : par exemple, regrouper des clients en segments que personne n'a définis à l'avance.
  • L'apprentissage par renforcement se passe d'exemples de la bonne réponse, mais reçoit un score après coup. Le réseau essaie quelque chose, reçoit une récompense ou une pénalité, et s'ajuste. C'est ainsi que des programmes ont appris à jouer à des jeux à un niveau surhumain.

Les grands modèles de langage sont entraînés d'une façon qui ne rentre pas bien dans ces cases. Le troisième article explique pourquoi.

À travers plusieurs couches : la rétropropagation

Pour un neurone seul, le gradient est facile à trouver, comme le montre la règle ci-dessus. Dans un réseau à plusieurs couches, c'est plus difficile. Quand le verdict final est faux, quelle part de responsabilité revient à chaque poids de la première couche, sachant qu'il n'agit sur le verdict qu'à travers les couches situées au-dessus ?

La réponse est une méthode appelée rétropropagation (backpropagation), popularisée en 1986[2]. Elle part de l'erreur en sortie et remonte, couche par couche, en répartissant les responsabilités : le dernier tableau d'abord, puis celui d'avant, jusqu'au premier. Le résultat est un gradient pour chaque poids du réseau, pour un coût comparable à celui de la passe avant. Les détails font appel au calcul différentiel, mais le principe est celui vu plus haut : déterminer dans quel sens chaque poids doit tourner, puis faire un petit pas. Cette méthode entraîne tous les réseaux de neurones utilisés aujourd'hui, y compris les plus grands modèles de langage.

Pourquoi jamais 100 %

Dans notre exemple de détection de spam, après 445 tours d'entraînement, le neurone se trompe encore sur un courriel sur cinq, et aucun entraînement supplémentaire n'y changera rien. Parmi nos 80 courriels, sept présentent exactement les mêmes indices : « gratuit », un expéditeur inconnu, mon nom, pas d'« urgent », pas de lien. Deux sont des spams, cinq n'en sont pas. Pour le neurone, ils sont identiques : quels que soient ses poids, il doit se tromper sur certains d'entre eux. L'information qui permettrait de les distinguer n'est tout simplement pas dans les indices. Le plafond de 80 % est le mieux que puissent atteindre des poids, quels qu'ils soient, avec ces cinq indices sur ces données.

Les vrais réseaux, avec des millions de neurones, rencontrent les mêmes limites à plus grande échelle :

  • Les entrées ne contiennent jamais toute l'information. Certains cas paraissent identiques au réseau alors que leurs réponses diffèrent.
  • Les exemples contiennent des erreurs. Les personnes qui les étiquettent ne sont pas d'accord ou se trompent, et le réseau apprend aussi cela.
  • Le monde change. Les spammeurs adaptent leurs formulations ; ce qui a été appris l'an dernier colle moins bien aux courriels de cette année.
  • Les cas rares sont mal appris. Une situation qui apparaît une poignée de fois parmi des millions d'exemples pèse peu.
  • Chaque seuil est un compromis. Relevez la limite de 0,5 à 0,9 : moins de vrais courriels sont bloqués, mais davantage de spams passent. Quelqu'un doit décider quelle erreur est la pire.

Qui fixe les nombres ?

Pensez à une nouvelle recrue. Avant son arrivée, la direction a dessiné l'organigramme et rédigé sa fiche de poste. Au fil des années, elle a construit son savoir-faire par l'expérience et les retours. Et dans la réunion de ce matin, elle prend une décision sur le moment, en fonction du cas qui se présente.

Un réseau de neurones contient les trois mêmes sortes de nombres :

  • choisis par les ingénieurs avant l'entraînement : la taille des tableaux, le nombre de couches, la taille de chaque pas d'ajustement. C'est l'organigramme. Les spécialistes les appellent hyperparamètres.
  • appris pendant l'entraînement : chaque poids de chaque tableau, d'abord aléatoire puis ajusté, tour après tour, par la boucle ci-dessus. C'est le savoir-faire. Quand on dit qu'un modèle a 400 milliards de paramètres, ce sont ces nombres que l'on compte.
  • calculés sur le moment : tout ce que le réseau détermine pour une entrée donnée, comme un score, une part ou un verdict. C'est la décision de ce matin, recalculée à chaque fois et jamais conservée.

Désormais, chaque schéma de cette série porte ces petites étiquettes. Chaque fois que vous voyez appris, l'histoire est toujours la même : aléatoire au départ, puis façonné par l'entraînement, petit à petit.