03Le nettoyer
Pourquoi le texte brut du web est en grande partie inutilisable, et les étapes de tri qui le rendent propre à l'entraînement.
Le texte brut du web est en grande partie inutilisable : menus, bandeaux de cookies, spam, pages dupliquées, remplissage généré automatiquement, données personnelles. L'essentiel de l'effort d'ingénierie va à la curation. Meta décrit sa chaîne de traitement pour Llama 3[2], et les autres laboratoires suivent des étapes globalement semblables :
- Extraire le texte. Garder le contenu de chaque page et jeter la mise en page, les menus et la publicité qui l'entourent.
- Retirer les contenus dangereux et personnels. Meta a écarté les domaines connus pour leurs contenus pour adultes et ceux qui contiennent de grandes quantités d'informations personnelles.
- Retirer les doublons. Le même article copié sur mille sites serait sinon appris mille fois. Les doublons sont retirés au niveau des adresses, des documents entiers, et même des lignes isolées répétées sur des millions de pages.
- Garder le texte de qualité. D'abord des règles simples : trop de phrases répétées, trop de mots injurieux, un vocabulaire qui semble généré automatiquement. Puis des modèles entraînés à noter le texte. Meta a utilisé son modèle précédent, Llama 2, pour étiqueter des exemples de bon et de mauvais texte, et a entraîné les modèles de notation sur ces étiquettes. Chaque génération de modèle aide à choisir la liste de lecture de la suivante.
- Doser les sources. Les proportions sont un choix délibéré, testé d'abord sur des modèles plus petits. Le mélange final de Llama 3 comptait environ moitié de connaissances générales, un quart de mathématiques et de raisonnement, 17 % de code et 8 % d'autres langues. Ce dernier chiffre est l'une des raisons pour lesquelles ces modèles sont nettement meilleurs en anglais qu'en français.
Deux remarques pour les dirigeants. D'abord, un modèle ne peut être meilleur, plus équilibré ni plus à jour que sa liste de lecture. Ses connaissances s'arrêtent à la date de collecte du texte, et ses lacunes et ses biais sont en grande partie ceux de ses données. Ensuite, le statut juridique de l'entraînement sur des textes protégés par le droit d'auteur est contesté devant les tribunaux de plusieurs pays. Dans l'Union européenne, le règlement sur l'IA (AI Act) impose désormais aux fournisseurs de modèles à usage général de publier un résumé des contenus utilisés pour l'entraînement et de respecter les refus exprimés par les titulaires de droits[4].