04Ce que lit le modèle : contexte et mémoire

Ce que le modèle reçoit vraiment avec votre question, pourquoi il ne se souvient de rien, et ce qu'est réellement la mémoire enregistrée.

Votre question ne voyage jamais seule

Tapez « Qui fut le premier président de la Ve République ? » dans un assistant, et vous pourriez croire que le modèle reçoit ces mots. Ce n'est pas le cas. L'application placée devant le modèle (la fenêtre de discussion, l'outil de l'entreprise, l'interface de programmation) assemble d'abord un long texte, et votre question n'en est que la dernière ligne :

Ce que lit réellement le modèleL'application assemble un long texte : des consignes, des souvenirs enregistrés, des documents, la conversation jusque-là, et la nouvelle question à la fin. Dans la nouvelle question, « il » renvoie à Charles de Gaulle. Ce que lit le modèle : un seul long texteD'où cela vient Consignes« Tu es un assistant serviable. Réponds de façon concise... » Souvenirs enregistrés« L'utilisateur préfère des réponses courtes, en français. » Documents (s'il y en a)fichiers joints, ou passages retrouvés par un système RAG La conversation jusque-là Vous : Qui fut le premier président de la Ve République ? Assistant : Charles de Gaulle, à partir de 1959. Votre nouvelle questionEt combien de temps est-il resté en fonction ? attention : « il » = « Charles de Gaulle » Le fournisseur oul'application Notes que l'applicationa enregistrées plus tôt Vous, ou une recherche dansles documents de l'entreprise Renvoyée en entierà chaque nouvellequestion Vous Tout le cadre est le contexte. Le modèle le prolonge, un token à la fois.
Le contexte : tout ce que l'application assemble avant que le modèle lise votre question.

Tout ce qui figure dans ce cadre s'appelle le contexte. Le modèle fait exactement ce que décrivent les chapitres 1 à 3 : il lit tout le texte, l'attention relie chaque token à ceux qui le précèdent, et il prédit le token suivant, encore et encore. Dans « Et combien de temps est-il resté en fonction ? », le mot « il » ne peut être compris que parce que « Charles de Gaulle » figure quelques lignes plus haut dans le même texte. L'attention établit le lien, exactement comme "anto" s'est relié à "Esper".

Le modèle lui-même ne se souvient de rien

C'est le point le plus contre-intuitif. Les paramètres du modèle ont été figés à la fin de l'entraînement, et utiliser le modèle ne les modifie pas. Entre votre première question et la deuxième, rien n'est conservé dans le modèle. Si l'assistant semble se souvenir de la conversation, c'est que l'application renvoie toute la conversation, à chaque fois, avec votre nouvelle question à la fin. Chaque échange repart d'un modèle vierge qui lit un texte plus long.

Deux sortes de connaissances

Chacune de ces trois questions puise à une source différente :

  • « Qui fut le premier président de la Ve République ? » La réponse, Charles de Gaulle, vient des paramètres. Elle a été apprise pendant l'entraînement, dans d'innombrables textes qui le mentionnent. Ce savoir est immense, mais figé et daté : le modèle ne sait rien de ce qui s'est passé après la collecte de ses données d'entraînement.
  • « Et combien de temps est-il resté en fonction ? » Le modèle ne sait qui est « il » que parce que l'échange précédent figure dans le contexte. Commencez une nouvelle conversation avec cette seule question, et il n'a aucun moyen de le savoir.
  • « Qu'a décidé notre comité de direction la semaine dernière ? » Cette information n'est ni dans l'un ni dans l'autre. À moins que l'application n'ajoute le compte rendu au contexte, le modèle ne peut produire que la suite la plus plausible : c'est ainsi que naissent les réponses inventées, livrées avec assurance. Donnez-lui le compte rendu, et il pourra répondre à partir de celui-ci.

Les paramètres, c'est ce qu'une personne a appris à l'école : immense, mais figé et daté. Le contexte, ce sont les papiers posés sur son bureau en ce moment : précis et à jour, mais limités en place.

Ce qu'est vraiment la « mémoire »

Certains assistants se « souviennent » désormais de vous d'une conversation à l'autre : votre nom, vos préférences, vos projets. Aucun apprentissage là-dedans. L'application prend des notes, et les glisse dans le contexte de la conversation suivante, dans le bloc « souvenirs enregistrés » ci-dessus. C'est un carnet que l'on relit avant chaque réunion. Les notes peuvent être affichées, modifiées ou supprimées, et elles occupent de la place sur le bureau comme tout le reste.

La génération augmentée par recherche (RAG), que les entreprises utilisent pour qu'un assistant réponde à partir de leurs propres documents, repose sur le même principe. Un moteur de recherche trouve les passages pertinents et les ajoute au contexte avant la question. Le modèle n'apprend pas les documents ; il les lit, à chaque fois.

Le bureau a une taille, et un coût

Puisque le contexte n'est que du texte lu par le modèle, tout ce que disent les chapitres 1 à 3 s'y applique :

  • Il a une longueur maximale, la fenêtre de contexte : environ 128 000 tokens pour Llama 3.1, par exemple. Au-delà, il faut laisser quelque chose de côté, en général la partie la plus ancienne de la conversation.
  • La longueur coûte du calcul. Chaque token est comparé à chaque token qui le précède : un contexte deux fois plus long demande environ quatre fois plus de travail.
  • La longueur coûte de l'argent. Les fournisseurs facturent chaque token lu autant que chaque token écrit, et toute la conversation renvoyée est relue à chaque question.
  • La longueur peut coûter en fiabilité. Dans les contextes longs, les modèles exploitent mieux l'information placée au début ou à la fin que celle enfouie au milieu[11].

D'où deux habitudes pratiques. Commencer une nouvelle conversation quand le sujet change, plutôt que d'en laisser une s'allonger indéfiniment. Et quand une réponse doit reposer sur des faits précis, mettre ces faits dans le contexte plutôt que de compter sur ce que le modèle a appris à l'entraînement.