il y a 5 mois -  - 2 minutes

Quelle sécurité pour l’IA générative ?

L’implémentation de systèmes d’intelligence artificielle générative au sein de systèmes d’information est de plus en plus commune. Face à cette tendance lourde, l’Anssi publie un guide portant sur les recommandations en termes de sécurité.

L’Anssi publie un guide portant sur les recommandations en termes de sécurité à propos des systèmes d’IA générative. L’objectif est d’alerter et sensibiliser les entreprises (Administrateur, RSSI, DSI) et les utilisateurs quant aux risques liés à l’IA générative. Ces mêmes cibles peuvent alors adopter des bonnes pratiques.

Selon l’organisation, « il convient d’adopter une posture de prudence lors de son déploiement et de son intégration dans un système d’information existant. » Ces bonnes pratiques sont ainsi à « mettre en œuvre depuis la phase de conception et d’entrainement d’un modèle d’IA jusqu’à la phase de déploiement et d’utilisation en production. »

intelligence artificielle Numeum TechTalks IA générative potentiel de l'IA sécurité

Le document traite principalement des exemples d’utilisation de l’IA générative tels que la synthèse ou le résumé d’un corpus documentaire, l’extraction d’informations ou la génération de texte à partir d’un corpus documentaire, les agents conversationnels 2 (Chatbot) et la génération de code source pour les développeurs d’applications.

Ainsi, la question de la protection des données, notamment des données d’entraînement, est un enjeu essentiel d’un système d’IA générative, avec comme corollaire la problématique du besoin d’en connaître des utilisateurs lorsqu’ils interrogent le modèle. En effet, ce dernier est conçu pour générer une réponse à partir de l’ensemble des données auxquelles il a eu accès lors de l’entraînement, ainsi que des données additionnelles qui peuvent être issues de sources internes sensibles.

Les scénarios d’attaque

L’Anssi présente trois grandes catégories d’attaques. Tout d’abord, les attaques par manipulation qui consistent à détourner le comportement du système d’IA en production au moyen de requêtes malveillantes. Elles peuvent provoquer des réponses inattendues, des actions dangereuses ou un déni de service.

En second lieu, peuvent survenir les attaques par infection. Il s’agit de contaminer un système d’IA lors de sa phase d’entraînement, en altérant les données d’entraînement ou en insérant une porte dérobée. Enfin, les attaques par exfiltration permettent de dérober des informations sur le système d’IA en production, comme les données ayant servi à entraîner le modèle, les données des utilisateurs ou bien des données internes du modèle.

Ces offensives peuvent atteindre à des éléments tels que la confidentialité, l’intégrité, la disponibilité ou bien encore la traçabilité.

Les bonnes pratiques pour une meilleure sécurité de l’IAG

En somme, un système d’IA générative doit s’identifier au même titre qu’une application métier standard. Il est toutefois question d’évaluer le niveau de confiance des bibliothèques et modules externes utilisés dans les systèmes d’IA, tout comme le niveau de confiance des sources de données externes utilisées. L’Anssi conseille également d’appliquer les principes de DevSecOps sur l’ensemble des phases du projet, d’utiliser des formats de modèles d’IA sécurisés, de prendre en compte les enjeux de confidentialité des données dès la conception du système d’IA

Le document livre ainsi des recommandations et bonnes pratiques pour les différentes phases de vie d’un système d’IA. Cela va ainsi de la phase d’entraînement, au déploiement jusqu’à la production.

Olivier Robillart