IA générative · Partie 1 sur 3

Comment fonctionne un réseau de neuronesNeurones, couches et apprentissage, les briques de Claude, Gemini et ChatGPT

Résumé

Claude, Gemini, ChatGPT, Mistral : tous les grands modèles de langage (LLM) reposent sur la même architecture, le Transformer, présentée par une équipe de Google en 2017. Cette série de trois articles explique comment elle fonctionne, sans formules, avec des exemples assez petits pour être suivis à la main.

Ce premier article plante le décor et pose les fondations. Il commence par un bref historique : pourquoi les réseaux de neurones des années 1980 et 1990 peinaient avec le langage, et ce qu'a changé l'article de 2017 « Attention Is All You Need ». Il explique ensuite ce que calcule un neurone artificiel, pourquoi les neurones sont empilés en couches qui sont en réalité des tableaux de nombres, et comment un réseau trouve ces nombres par lui-même, avec un filtre anti-spam entraîné tour après tour. Chaque nombre peut être vérifié, à la main ou dans le classeur d'accompagnement (en anglais).

Le classeur d'accompagnement s'ouvre dans Excel, LibreOffice ou Google Sheets. Il a été construit avec l'aide de Claude, l'assistant d'IA d'Anthropic.

En chemin apparaissent deux idées qui comptent pour tout dirigeant qui déploie l'IA : un modèle contient trois sortes de nombres, choisis, appris et calculés ; et sa fiabilité se mesure sur des exemples, elle ne se démontre jamais. Le deuxième article s'appuie sur ces fondations pour suivre une phrase à travers un modèle de langage ; le troisième explique comment ces modèles sont entraînés, et pourquoi il faut pour cela des GPU.