03Le nettoyer

Pourquoi le texte brut du web est en grande partie inutilisable, et les étapes de tri qui le rendent propre à l'entraînement.

Le texte brut du web est en grande partie inutilisable : menus, bandeaux de cookies, spam, pages dupliquées, remplissage généré automatiquement, données personnelles. L'essentiel de l'effort d'ingénierie va à la curation. Meta décrit sa chaîne de traitement pour Llama 3[2], et les autres laboratoires suivent des étapes globalement semblables :

Des pages web brutes aux données d'entraînementPages brutes, extraire le texte, retirer les contenus dangereux et les données personnelles, retirer les doublons, garder le texte de qualité, doser les sources.Pages brutesWeb, code, livres, articles, données sous licenceExtraire le texteRetirer menus, publicités, mise en pageRetirer le dangereux et le personnelSites pour adultes, domaines riches en données persoRetirer les doublonsMême page, quasi-copies, lignes répétéesGarder le texte de qualitéDes règles, puis des modèles qui notentDoser les sourcesDécider des proportionsTokens prêts à servir
Les principales étapes de curation, telles que Meta les décrit pour Llama 3. Les autres laboratoires suivent des chaînes globalement semblables.
  • Extraire le texte. Garder le contenu de chaque page et jeter la mise en page, les menus et la publicité qui l'entourent.
  • Retirer les contenus dangereux et personnels. Meta a écarté les domaines connus pour leurs contenus pour adultes et ceux qui contiennent de grandes quantités d'informations personnelles.
  • Retirer les doublons. Le même article copié sur mille sites serait sinon appris mille fois. Les doublons sont retirés au niveau des adresses, des documents entiers, et même des lignes isolées répétées sur des millions de pages.
  • Garder le texte de qualité. D'abord des règles simples : trop de phrases répétées, trop de mots injurieux, un vocabulaire qui semble généré automatiquement. Puis des modèles entraînés à noter le texte. Meta a utilisé son modèle précédent, Llama 2, pour étiqueter des exemples de bon et de mauvais texte, et a entraîné les modèles de notation sur ces étiquettes. Chaque génération de modèle aide à choisir la liste de lecture de la suivante.
  • Doser les sources. Les proportions sont un choix délibéré, testé d'abord sur des modèles plus petits. Le mélange final de Llama 3 comptait environ moitié de connaissances générales, un quart de mathématiques et de raisonnement, 17 % de code et 8 % d'autres langues. Ce dernier chiffre est l'une des raisons pour lesquelles ces modèles sont nettement meilleurs en anglais qu'en français.

Deux remarques pour les dirigeants. D'abord, un modèle ne peut être meilleur, plus équilibré ni plus à jour que sa liste de lecture. Ses connaissances s'arrêtent à la date de collecte du texte, et ses lacunes et ses biais sont en grande partie ceux de ses données. Ensuite, le statut juridique de l'entraînement sur des textes protégés par le droit d'auteur est contesté devant les tribunaux de plusieurs pays. Dans l'Union européenne, le règlement sur l'IA (AI Act) impose désormais aux fournisseurs de modèles à usage général de publier un résumé des contenus utilisés pour l'entraînement et de respecter les refus exprimés par les titulaires de droits[4].