10Ne pas le reconstruire : les bibliothèques habituelles
Les bibliothèques open source qui couvrent chaque couche, et pourquoi presque personne ne devrait construire un modèle de zéro.
Très peu d'organisations entraîneront un jour un Transformer de zéro, et aucune ne devrait en programmer un à la main. Un écosystème mûr de bibliothèques open source couvre chaque couche, et la plupart des projets commencent près du sommet, ou s'en passent entièrement en appelant l'API d'un fournisseur.
- Fondations. PyTorch[17] et, dans une moindre mesure, JAX[18] : les environnements avec lesquels presque tous les modèles sont construits et entraînés.
- Modèles et tokenizers. Hugging Face Transformers[19] est le standard de fait pour télécharger, exécuter et affiner des modèles préentraînés en quelques lignes de code, sa bibliothèque Tokenizers se chargeant de l'étape décrite au chapitre 1 du deuxième article. Sentence-Transformers[20] transforme des phrases entières en vecteurs, la base de la plupart des systèmes de recherche documentaire et de RAG.
- Exécuter les modèles. vLLM[21] sert les modèles efficacement sur vos propres serveurs ; llama.cpp[22], et Ollama[23] construit par-dessus, les font tourner sur du matériel ordinaire, jusqu'à un ordinateur portable. Ils comptent quand les données doivent rester dans vos locaux.
- Applications. LlamaIndex[24] et LangChain[25] prennent en charge la plomberie des systèmes RAG et des agents : ingérer les documents, les découper en morceaux, les transformer en vecteurs, retrouver ceux qui sont pertinents et les transmettre à un modèle.
Un piège de vocabulaire : Llama, LlamaIndex et llama.cpp sont trois choses sans rapport. Llama est une famille de modèles de Meta[26], publiés avec leurs poids ouverts : l'un des moteurs que l'on peut brancher dans un tel système, aux côtés de Mistral, Qwen ou DeepSeek. LlamaIndex est un environnement indépendant qui orchestre le RAG. llama.cpp est un outil pour exécuter des modèles, Llama ou d'autres.
Une dernière précaution : « poids ouverts » ne veut pas dire open source. Des modèles comme Llama sont accompagnés de licences et de conditions d'utilisation qui changent d'une version à l'autre et méritent une lecture attentive avant tout projet client.