À retenir

  • Entraîner un LLM utilise la même boucle que n'importe quel réseau de neurones : faire passer des exemples, mesurer l'erreur, ajuster un peu chaque poids. Seuls changent le corrigé, l'échelle et le but.
  • Aucune étiquette humaine n'est nécessaire au départ : le texte fournit son propre corrigé. Chaque erreur déplace chaque paramètre vers la bonne réponse et à l'opposé de ce que le modèle attendait.
  • Un modèle ne vaut que ce que vaut sa liste de lecture, en qualité, en équilibre et en fraîcheur. Collecter et nettoyer les données représente l'essentiel du travail, et façonne ses forces, ses lacunes et ses biais.
  • L'entraînement s'arrête sur une observation, pas sur une démonstration. La fiabilité se mesure sur un texte mis de côté : le plus souvent juste, jamais garanti.
  • Les assistants sont façonnés dans des phases ultérieures, avec des jugements humains et des vérifications automatiques. C'est là que les fournisseurs règlent le ton, l'utilité et la sécurité.
  • Tout se ramène à « multiplier et additionner » sur d'immenses tableaux : des opérations identiques et indépendantes, exactement ce pour quoi les GPU sont conçus. L'entraînement est limité par la puissance de calcul ; la réponse, par la bande passante mémoire.
  • Les GPU coûtent cher pour des raisons structurelles : mémoire spécialisée, un fournisseur dominant, une demande supérieure à l'offre, l'énergie. Les petits modèles tournent bien sur des serveurs ordinaires ; les grands modèles pour de nombreux utilisateurs demandent des GPU.
  • Utiliser un modèle ne le modifie pas. Que vos données alimentent un futur entraînement est une question contractuelle.
  • Ne pas reconstruire : bibliothèques et API couvrent chaque couche. Tout projet réel doit tout de même partir d'un dossier de valeur.