01Pourquoi une nouvelle architecture ?
Du premier modèle de neurone en 1943 aux réseaux récurrents, et la limite qui a conduit au Transformer.
Les réseaux de neurones ne sont pas nouveaux. Le premier modèle mathématique d'un neurone date de 1943[1], et à la fin des années 1980, les chercheurs savaient entraîner des réseaux de nombreux neurones à reconnaître des formes[2]. Mais ces réseaux avaient un angle mort : ils reçoivent leur entrée d'un seul coup, comme un bloc fixe, sans notion d'avant ni d'après. Cela fonctionne pour une image. Cela échoue pour le langage, où le sens dépend de l'ordre. « Le chien mord l'homme » et « l'homme mord le chien » contiennent exactement les mêmes mots.
La première réponse sérieuse a été le réseau récurrent. Au lieu de lire une phrase d'un seul coup, il la lit mot après mot, en transportant une sorte de mémoire courante d'un mot au suivant. Perfectionnés en 1997 avec une variante appelée LSTM[3], les réseaux récurrents sont devenus l'outil standard de la traduction et de la reconnaissance vocale jusqu'au début des années 2010.
Ils avaient deux faiblesses. D'abord, leur mémoire s'estompait : à la fin d'une longue phrase, le début était en grande partie perdu. Ensuite, et c'est le plus décisif, lire mot après mot empêche de répartir le travail. Le dixième mot doit attendre le neuvième. Les processeurs graphiques, le matériel qui transformait le domaine, sont conçus pour faire des milliers de calculs à la fois, et les réseaux récurrents ne pouvaient pas en tirer parti.
En 2014, des chercheurs ont ajouté aux réseaux récurrents un mécanisme appelé attention[4]. En traduisant un mot, le modèle pouvait revenir sur toute la phrase source et se concentrer sur les parties qui comptaient le plus. La qualité des traductions s'est nettement améliorée. Mais la récurrence, et sa lenteur, demeuraient.
L'équipe de Google à l'origine de l'article de 2017 a posé une question audacieuse : et si l'attention n'était pas un complément, mais le tout ? Leur titre donnait la réponse : « Attention Is All You Need »[5]. En abandonnant complètement la récurrence, ils ont obtenu un modèle qui comprenait mieux le contexte et, surtout, qui pouvait être entraîné en parallèle. Leur modèle de traduction a battu l'état de l'art après quelques jours d'entraînement sur huit GPU. Cette seconde propriété, la vitesse à grande échelle, est ce qui permettrait plus tard d'entraîner des modèles sur une grande part du web écrit.
Cette série suit cette conception en trois articles. Le premier couvre les briques sur lesquelles elle repose : ce que calcule un neurone, comment les neurones forment des couches, et comment un réseau apprend. Le deuxième suit une phrase à travers un modèle de langage, étape par étape. Le troisième explique comment ces modèles sont entraînés, et ce que cela demande. Voici le chemin que parcourra le deuxième article :