02D'où vient le texte
D'où vient le texte d'entraînement, et quelle quantité en lit un modèle de pointe.
Un modèle n'apprend que de ce qu'il lit : la première tâche consiste donc à rassembler une quantité énorme de texte. Les principales sources :
- Le web public. L'essentiel du volume. Une grande partie vient de Common Crawl[1], une organisation à but non lucratif qui archive le web public depuis 2008, complétée par les robots d'indexation des laboratoires eux-mêmes.
- Du code, issu de dépôts publics.
- Des textes de référence et scientifiques : encyclopédies, articles de recherche, brevets, documentation technique.
- Des livres et des données sous licence, achetés ou négociés auprès d'éditeurs, de groupes de presse et de fournisseurs de données.
- Des données synthétiques, de plus en plus : du texte produit par d'autres modèles, par exemple des problèmes de mathématiques résolus, vérifiés avant usage.
Les quantités sont difficiles à se représenter. Le plus grand modèle Llama 3 de Meta a été entraîné sur environ 15 000 milliards de tokens[2]. Une personne qui lirait huit heures par jour pendant soixante-dix ans parcourrait environ 3 milliards de mots : cela représente donc, très grossièrement, plusieurs milliers de vies de lecture à plein temps. Des jeux de données publics du même ordre existent : FineWeb, de Hugging Face, contient 15 000 milliards de tokens tirés de 96 instantanés de Common Crawl, avec chaque étape de traitement documentée[3].