01D'un filtre anti-spam à un LLM
Ce qui change entre l'entraînement d'un filtre anti-spam et celui d'un grand modèle de langage, et ce qui ne change pas.
Le premier article de cette série a entraîné un neurone anti-spam : cinq indices, soixante courriels étiquetés, quelques centaines de tours de la même boucle. Faire passer les exemples, mesurer l'erreur, calculer dans quel sens chaque poids doit tourner, faire un petit pas, recommencer. Entraîner Claude, Gemini ou ChatGPT utilise exactement cette boucle. Trois choses changent, et chacune fait l'objet d'une partie de cet article.
- Le corrigé. Nos courriels avaient été étiquetés par une personne. Personne ne peut étiqueter des milliers de milliards de mots. Un modèle de langage apprend à partir d'un texte qui contient déjà ses réponses : cachez le mot suivant, et le texte vous dit ce qu'il était. Les chapitres 2 à 4 expliquent d'où vient ce texte, comment il est préparé et comment il est fourni au modèle.
- L'échelle. Cinq poids deviennent des centaines de milliards ; soixante courriels deviennent des milliers de milliards de mots ; quelques secondes de calcul deviennent des mois sur des milliers de processeurs spécialisés. Les chapitres 8 et 9 expliquent pourquoi il faut des GPU, et ce que cela coûte.
- Le but. Un filtre anti-spam doit trier des courriels. Un assistant doit répondre aux questions de façon utile et sûre, et pour cela il n'existe souvent pas de réponse unique. Le chapitre 7 explique comment l'entraînement s'adapte quand le corrigé est un jugement humain plutôt qu'un fait.
Nous savons exactement comment un modèle apprend. Ce que nous ne pouvons pas prévoir, c'est ce qu'il finira par savoir.