À retenir

  • Les Transformers ont remplacé les réseaux récurrents parce qu'ils traitent l'ordre des mots grâce à l'attention et peuvent être entraînés en parallèle, sur un matériel conçu pour faire des milliers de calculs à la fois.
  • Un neurone multiplie ses entrées par des poids, les additionne et applique un coude. Une couche est un tableau de poids, une matrice ; un réseau est un empilement de ces tableaux. Tout se ramène à multiplier et additionner.
  • Personne ne fixe les poids : l'entraînement les trouve, en faisant passer des exemples, en mesurant l'erreur, et en ajustant un peu chaque poids dans la direction qui la réduit (la descente de gradient). La taille du pas est un choix : trop petite, c'est lent ; trop grande, on dépasse le but.
  • L'entraînement s'arrête quand les exemples mis de côté cessent de s'améliorer, pas quand le réseau est parfait. Il ne l'est jamais.
  • La fiabilité se mesure, elle ne se démontre pas. C'est pour cette raison, et non par défaut d'ingénierie, que les réponses d'une IA doivent être vérifiées partout où une erreur aurait des conséquences.
  • Un modèle contient trois sortes de nombres : choisis par les ingénieurs, appris par l'entraînement, et calculés à la volée pour chaque entrée.