L’empoisonnement des données se produit en insérant des informations manipulées ou fausses dans les ensembles de données sur lesquels les modèles d’intelligence artificielle sont formés.
Lorsqu’un attaquant injecte délibérément des données corrompues ou biaisées dans le modèle, le modèle considère ces données comme des « informations correctes ».
En conséquence, le modèle commence à produire des résultats erronés ou biaisés dans la direction souhaitée par l’attaquant.
On pensait auparavant que des millions de données manipulées étaient nécessaires pour que de telles attaques soient efficaces. Mais des recherches récentes ont révélé que des modèles comportant des milliards de paramètres peuvent être manipulés même avec quelques centaines de faux documents.
Dimension du danger
Ces types d’attaques par empoisonnement ne se limitent pas à générer de la désinformation. Des « déclencheurs » cachés (par exemple, des commandes pour se comporter différemment lorsqu’un certain mot ou sujet est mentionné) peuvent être créés dans le modèle.
Cela permet à l’attaquant de manipuler le modèle au moment où il le cible.
De plus, ces attaques passent souvent inaperçues pendant le processus de formation ; les données empoisonnées restent profondément ancrées dans le système.
Que font les entreprises d’intelligence artificielle ?
Selon les experts, les modèles présentant le risque le plus élevé sont les systèmes entraînés avec des données accessibles au public.
Pour cette raison, certains laboratoires transmettent désormais les données de formation via des systèmes de vérification et de filtrage des sources.
De plus, grâce à de nouvelles méthodes appelées « entraînement contradictoire », les modèles sont testés avec des données délibérément provocatrices et trompeuses pour renforcer leurs défenses.
Les systèmes d’intelligence artificielle prennent des décisions dans d’innombrables domaines. Un empoisonnement des données qui se produit dans des systèmes aussi critiques peut conduire non seulement à des résultats erronés, mais également à des dommages sociaux et économiques.
