02D'où vient le texte

D'où vient le texte d'entraînement, et quelle quantité en lit un modèle de pointe.

Un modèle n'apprend que de ce qu'il lit : la première tâche consiste donc à rassembler une quantité énorme de texte. Les principales sources :

  • Le web public. L'essentiel du volume. Une grande partie vient de Common Crawl[1], une organisation à but non lucratif qui archive le web public depuis 2008, complétée par les robots d'indexation des laboratoires eux-mêmes.
  • Du code, issu de dépôts publics.
  • Des textes de référence et scientifiques : encyclopédies, articles de recherche, brevets, documentation technique.
  • Des livres et des données sous licence, achetés ou négociés auprès d'éditeurs, de groupes de presse et de fournisseurs de données.
  • Des données synthétiques, de plus en plus : du texte produit par d'autres modèles, par exemple des problèmes de mathématiques résolus, vérifiés avant usage.

Les quantités sont difficiles à se représenter. Le plus grand modèle Llama 3 de Meta a été entraîné sur environ 15 000 milliards de tokens[2]. Une personne qui lirait huit heures par jour pendant soixante-dix ans parcourrait environ 3 milliards de mots : cela représente donc, très grossièrement, plusieurs milliers de vies de lecture à plein temps. Des jeux de données publics du même ordre existent : FineWeb, de Hugging Face, contient 15 000 milliards de tokens tirés de 96 instantanés de Common Crawl, avec chaque étape de traitement documentée[3].