01Pourquoi une nouvelle architecture ?

Du premier modèle de neurone en 1943 aux réseaux récurrents, et la limite qui a conduit au Transformer.

Les réseaux de neurones ne sont pas nouveaux. Le premier modèle mathématique d'un neurone date de 1943[1], et à la fin des années 1980, les chercheurs savaient entraîner des réseaux de nombreux neurones à reconnaître des formes[2]. Mais ces réseaux avaient un angle mort : ils reçoivent leur entrée d'un seul coup, comme un bloc fixe, sans notion d'avant ni d'après. Cela fonctionne pour une image. Cela échoue pour le langage, où le sens dépend de l'ordre. « Le chien mord l'homme » et « l'homme mord le chien » contiennent exactement les mêmes mots.

La première réponse sérieuse a été le réseau récurrent. Au lieu de lire une phrase d'un seul coup, il la lit mot après mot, en transportant une sorte de mémoire courante d'un mot au suivant. Perfectionnés en 1997 avec une variante appelée LSTM[3], les réseaux récurrents sont devenus l'outil standard de la traduction et de la reconnaissance vocale jusqu'au début des années 2010.

Ils avaient deux faiblesses. D'abord, leur mémoire s'estompait : à la fin d'une longue phrase, le début était en grande partie perdu. Ensuite, et c'est le plus décisif, lire mot après mot empêche de répartir le travail. Le dixième mot doit attendre le neuvième. Les processeurs graphiques, le matériel qui transformait le domaine, sont conçus pour faire des milliers de calculs à la fois, et les réseaux récurrents ne pouvaient pas en tirer parti.

Réseau récurrent et TransformerUn réseau récurrent lit les mots les uns après les autres ; un Transformer relie chaque mot à tous les autres, d'un seul coup.Réseau récurrent : un mot à la foisLechienmordl'hommeChaque mot attend le précédent ; les premiers s'estompentTransformer : tous les mots à la fois, en parallèleLechienmordl'hommeChaque mot est relié directement à tous les autres
Les réseaux récurrents lisent en séquence ; les Transformers traitent tous les mots en parallèle. (Dans les modèles qui génèrent du texte, chaque mot ne regarde que les mots précédents ; voir le deuxième article, chapitre 2.)

En 2014, des chercheurs ont ajouté aux réseaux récurrents un mécanisme appelé attention[4]. En traduisant un mot, le modèle pouvait revenir sur toute la phrase source et se concentrer sur les parties qui comptaient le plus. La qualité des traductions s'est nettement améliorée. Mais la récurrence, et sa lenteur, demeuraient.

L'équipe de Google à l'origine de l'article de 2017 a posé une question audacieuse : et si l'attention n'était pas un complément, mais le tout ? Leur titre donnait la réponse : « Attention Is All You Need »[5]. En abandonnant complètement la récurrence, ils ont obtenu un modèle qui comprenait mieux le contexte et, surtout, qui pouvait être entraîné en parallèle. Leur modèle de traduction a battu l'état de l'art après quelques jours d'entraînement sur huit GPU. Cette seconde propriété, la vitesse à grande échelle, est ce qui permettrait plus tard d'entraîner des modèles sur une grande part du web écrit.

Cette série suit cette conception en trois articles. Le premier couvre les briques sur lesquelles elle repose : ce que calcule un neurone, comment les neurones forment des couches, et comment un réseau apprend. Le deuxième suit une phrase à travers un modèle de langage, étape par étape. Le troisième explique comment ces modèles sont entraînés, et ce que cela demande. Voici le chemin que parcourra le deuxième article :

Où nous en sommes dans le modèle de langageTexte brut, vecteurs, attention, réseau, mot suivant ; l'étape en cours est mise en évidence.Texte brutdécoupé en tokensVecteurspartie 2, chapitre 1Attentionpartie 2, chapitre 2Réseaupartie 2, chapitre 3Mot suivantpartie 2, chapitre 3