IA générative · Partie 2 sur 3
Ce que sont vraiment Claude, Gemini et ChatGPTÀ l'intérieur d'un modèle de langage, des mots aux vecteurs jusqu'au mot suivant
Résumé
Le premier article de cette série a expliqué ce qu'est un réseau de neurones et comment il apprend, avec un filtre anti-spam. Ce deuxième article montre comment les mêmes briques deviennent Claude, Gemini ou ChatGPT : un Transformer, entraîné à prédire le mot suivant.
Il suit une phrase, "I speak Esperanto" (je parle espéranto), à travers un modèle de langage jouet assez petit pour être calculé à la main : un texte découpé en tokens, des tokens transformés en lignes de nombres, une attention qui permet à chaque token de tenir compte de ses voisins, un petit réseau qui ajoute ce que l'entraînement lui a appris, et enfin la prédiction du mot suivant. Chaque nombre peut être vérifié, à la main ou dans le classeur d'accompagnement (en anglais), et une animation rejoue tout le parcours.
Le classeur d'accompagnement s'ouvre dans Excel, LibreOffice ou Google Sheets. Il a été construit avec l'aide de Claude, l'assistant d'IA d'Anthropic.
Il se termine par ce que le modèle lit réellement quand vous lui posez une question, le contexte, et par ce que « mémoire » veut vraiment dire. En chemin apparaissent les conséquences pratiques : pourquoi les modèles inventent des réponses, pourquoi les longues conversations coûtent plus cher, et pourquoi la même question peut recevoir deux réponses différentes. Le troisième article explique comment ces modèles sont entraînés, et pourquoi il faut pour cela des GPU.
Précédemment : partie 1, Comment fonctionne un réseau de neurones