Certaines peluches dotées de systèmes d’intelligence artificielle donnaient aux enfants des instructions sur la manière d’utiliser des objets dangereux et se livraient même à des conversations sexuellement explicites.
Il y a des années, les scénaristes des Simpson ont imaginé un jouet espiègle capable de collecter des informations auprès des enfants et de saboter ses rivaux. Le jouet nommé Funzo dans cet épisode agissait comme une sorte d’espion. Aujourd’hui, cela a un véritable équivalent : les jouets à intelligence artificielle.
L’intégration de modèles d’IA parlants dans les produits pour enfants présente des risques qui vont bien au-delà du divertissement. Des tests réalisés aux USA ont révélé que certaines peluches équipées de cette technologie expliquaient aux enfants comment trouver des allumettes, où se trouvent les couteaux et même comment allumer un feu. Il a même été constaté que certains jouets engagent des conversations ouvertement sexuelles.
Cela a suscité de sérieuses inquiétudes quant aux effets sur le développement des enfants et au manque de contrôle dans le secteur.
Ours en peluche nommé Kumma : le bug de sécurité le plus grave de l’industrie
Selon le rapport de l’organisation de défense des droits des consommateurs Public Interest Research Group (PIRG), l’ours en peluche nommé Kumma, produit par FoloToy et fonctionnant avec le modèle GPT-4o d’OpenAI, était le cas le plus critique.
L’ours en peluche expliquait aux enfants sur un ton amical où trouver des allumettes et des couteaux à la maison et comment allumer une flamme.
OpenAI a suspendu l’accès à FoloToy en raison d’une violation de la politique interne. La société a déclaré dans un communiqué :
«Nous avons suspendu ce développeur pour avoir enfreint nos règles.» dit-il.
Suite à cela, FoloToy a annoncé qu’elle retirait tous ses produits de la vente et qu’elle lancerait un audit de sécurité complet.
Bien que les groupes de consommateurs aient trouvé cette décision positive, ils ont rappelé que le marché des jouets à intelligence artificielle n’est toujours soumis à aucune réglementation et ne dispose d’aucun mécanisme de contrôle.
«Ces jouets peuvent parler de sujets sensibles que vous ne vous attendez pas à ce que les enfants entendent : comment trouver des objets dangereux, la religion, la mort et même des contenus explicitement sexuels», a déclaré Teresa Murray du PIRG à la radio publique américaine (NPR). dit-il.
Ils collectent des données sur les enfants : voix, nom, date de naissance et reconnaissance faciale
Murray a déclaré que ces jouets enregistraient les voix, les noms et les dates de naissance des enfants ; Il a ajouté que certains modèles utilisaient même des systèmes de reconnaissance faciale. «Tout appareil connecté à Internet peut accéder à des informations privées», a-t-il prévenu.
Il a également noté qu’un enfant de trois ans n’a pas de téléphone avec contrôle parental et ne peut pas distinguer les limites de ces conversations.
Les tests montrent : les filtres s’affaiblissent après un certain temps
L’étude a été menée sur trois jouets destinés aux enfants âgés de 3 à 12 ans :
Kumma (FoloToy)
Miko 3 (tablette avec visage animé)
Grok (jouet fusée anthropomorphe produit par Curio)
Tous trois ont fait preuve de graves erreurs de contrôle dans de longs discours.
Les systèmes qui bloquaient les questions inappropriées dans les premières minutes ont arrêté le filtrage au bout de quelques minutes. Le cas de Kumma était le plus grave. Il a commencé à décrire des pratiques sexuelles, notamment des jeux sexuels impliquant des rôles d’enseignant et d’élève.
«Le risque est que ces jouets se comportent de manière imprévisible et ne subissent aucun véritable test de sécurité avant d’être commercialisés», a déclaré RJ Cross, de l’équipe académique du PIRG. dit-il.
Cet incident a marqué la première sanction sérieuse d’OpenAI et de FoloToy, ce qui allait donner l’exemple à l’industrie.
La pression s’est accrue sur OpenAI pour qu’il surveille plus étroitement la manière dont ses modèles sont utilisés par des tiers. Cette question est particulièrement sensible car la société a récemment annoncé un accord avec Mattel pour une nouvelle gamme de jouets intelligents.
Les chercheurs ont souligné que chaque fabricant présent sur le marché devrait être obligé d’effectuer des tests de sécurité complets lors de l’utilisation de modèles de chatbots commerciaux.
Discussion principale : Comment ces jouets affectent-ils le développement social des enfants ?
Le débat ne se limite pas aux filtres ou restrictions techniques. Selon les experts, les conversations que les enfants ont avec l’intelligence artificielle pourraient affecter à long terme leurs manières d’établir des relations sociales et leur comportement dans la gestion des informations personnelles.
RJ Cross affirme que les améliorations apportées aux filtres n’élimineront pas le risque sous-jacent :
«Le vrai problème est le développement social de ces enfants. Nous ne savons pas quelles seront les conséquences lorsque la première génération qui aura grandi avec des amis numériques deviendra adulte.»
