06Sécurité et conformité

Où vont les données, qui peut les voir une fois qu'elles y sont, des instructions cachées dans les documents, et les traces dont un audit a besoin.

Beaucoup de pilotes qui fonctionnent bien ne passent jamais en production à cause de questions que personne n'a posées assez tôt : où vont les données, et qui peut les voir une fois qu'elles y sont ?

Où vont les données

Utiliser un modèle tiers, c'est lui envoyer des données : chaque question, et les passages retrouvés pour y répondre. Si un service tiers produit aussi les vecteurs, toute la base de connaissances le traverse au moment de l'ingestion, ce qu'on oublie facilement. Ce qui compte, c'est moins la réputation du fournisseur que le contrat : les données sont-elles conservées ou utilisées pour l'entraînement, où sont-elles traitées, par qui, et sous quelles lois ? La décision se prend par catégorie de données. Les manuels publics peuvent aller à un service tiers, les sources confidentielles seulement à un modèle hébergé en interne, et les documents couverts par l'accord de confidentialité d'un fournisseur peuvent ne jamais entrer, même si le système peut toujours y renvoyer. Les questions des utilisateurs, qui peuvent elles-mêmes contenir des données sensibles, suivent les mêmes règles.

Qui peut les voir une fois qu'elles y sont

Les systèmes sources savent qui peut lire quoi. Un SIRH ne montre les salaires qu'au service paie ; un système de maintenance restreint l'accès aux rapports d'incident. Une fois le texte extrait, découpé en passages et indexé, cette connaissance disparaît, sauf si on la transporte à dessein (figure 6). C'est par là que ces systèmes fuient le plus souvent.

Droits perdus en chemin Système source sait qui peut lire Extraire et indexer texte seul Index aucun droit attaché Quiconque demande peut le recevoir Droits transportés jusqu'à la réponse Système source sait qui peut lire Extraire et indexer droits attachés Index chaque passage porte ses droits Filtrer d'abord avant toute lecture par le modèle Seulement l'autorisé pour cet utilisateur les règles qui dépendent du contexte sont vérifiées en direct à la source
Figure 6. Des droits d'accès perdus à l'extraction, ou transportés jusqu'à la réponse
  • Les droits voyagent avec les données : chaque passage consigne qui peut le voir, à la granularité de la source.
  • Les droits changent, et la copie doit suivre. Tout délai entre la source et l'index est une période d'exposition.
  • Certains droits dépendent du contexte, comme un manager qui ne voit que les salaires de sa propre équipe. Ils sont vérifiés auprès du système source au moment de la réponse, ou bien la source est interrogée en direct au lieu d'être indexée.
  • Le savoir dérivé, comme un résumé ou un tableau extrait, hérite des droits les plus stricts de ses entrées.
  • Les droits s'appliquent avant que quoi que ce soit n'atteigne le modèle. Et parce que des passages anodins peuvent être révélateurs ensemble, décider quelles sources peuvent être combinées, et pour qui, est une décision à part entière.

L'accès se teste comme la sécurité

Le jeu de tests comprend des questions d'utilisateurs qui ne doivent pas recevoir certaines réponses. Toute fuite compte comme un échec qui bloque une livraison, exactement comme une valeur sans source.

Les documents peuvent contenir des instructions

Le modèle lit le texte retrouvé comme une entrée, et un texte peut être écrit pour l'orienter, caché dans un document de fournisseur ou une note collée. C'est ce qu'on appelle l'injection de prompt. Les défenses relèvent de l'architecture : traiter le texte retrouvé comme des données, jamais comme des instructions ; limiter ce que le côté réponse est capable de faire ; et le tester comme n'importe quel autre échec.

La conformité repose sur les mêmes fondations

En Europe, par exemple, la législation sur la protection des données donne aux personnes le droit à l'effacement de leurs données personnelles : les suppressions doivent donc atteindre l'index et tout ce qui en est dérivé. Après un incident ou lors d'un audit, l'entreprise doit pouvoir reconstituer ce qui a été dit à un utilisateur : la question, qui l'a posée, les passages et leurs versions, le modèle et sa version, les règles en vigueur, et la réponse. Ces traces contiennent des contenus confidentiels et montrent ce qu'ont fait les salariés : elles sont donc protégées et conservées seulement aussi longtemps que des règles explicites le permettent. D'autres régions ont d'autres lois, et l'architecture doit les prendre en charge de la même façon.