06Le regarder apprendre
Ce que surveillent les ingénieurs pendant l'entraînement, et pourquoi le modèle progresse sur des textes qu'il n'a jamais vus.
On ne lance pas un entraînement pour le laisser tourner seul. Les ingénieurs surveillent :
- L'erreur, sur un texte que le modèle n'a jamais vu. Une part des données est mise de côté et ne sert jamais à l'entraînement. Si l'erreur baisse aussi sur ce texte inédit, le modèle apprend des régularités au lieu d'apprendre par cœur.
- Les points de sauvegarde. L'état complet du modèle est enregistré régulièrement, pour pouvoir reprendre l'entraînement après une panne ou revenir en arrière si quelque chose tourne mal.
- Les pannes, qui sont la routine. Sur une période de 54 jours, l'entraînement de Meta, réparti sur jusqu'à 16 000 GPU, a été interrompu 466 fois, dont 419 de façon imprévue, surtout à cause de défaillances matérielles[2]. À cette échelle, faire tourner la machine est une discipline à part entière.
- La taille du pas. Elle commence petite, augmente, puis diminue progressivement vers la fin de l'entraînement, selon un calendrier fixé à l'avance et validé sur des modèles plus petits. Comme le dosage des données, c'est un choix fait par l'expérience, pas déduit de la théorie.
Pourquoi cela marche sur des textes jamais vus
Pourquoi le modèle progresse-t-il sur des textes qu'il n'a jamais lus ? Parce qu'il a bien trop peu de paramètres pour mémoriser tout ce sur quoi il est entraîné : la seule façon de continuer à progresser est de saisir ce que tous ces textes ont en commun, la grammaire, les faits, les schémas de raisonnement. Comme un étudiant face à des millions de sujets d'examen différents, il n'a pas d'autre choix que de comprendre plutôt que de bachoter. Les régularités, contrairement aux réponses apprises par cœur, se transposent à des questions nouvelles.
Mesuré, pas démontré
Cela signifie aussi qu'il n'existe aucune preuve que ses réponses soient justes. Comme l'expliquait le premier article (chapitre 3, « Démontré, ou mesuré ? »), toute l'approche repose sur une observation, pas sur une démonstration : des régularités utiles émergent d'assez de texte et d'assez d'ajustements. Cela s'est vérifié jusqu'ici, mais la fiabilité d'un modèle se mesure par des tests, elle ne se démontre pas à l'avance, un peu comme on fait confiance à un pilote pour ses états de service plutôt que pour un théorème. C'est pourquoi ces systèmes ont le plus souvent raison, sans jamais de garantie, et pourquoi il faut des vérifications autour d'eux. Les chercheurs eux-mêmes cherchent encore à comprendre pourquoi cela fonctionne aussi bien : dans ce domaine, la théorie a du retard sur la pratique.