Selon la déclaration faite sur le blog officiel de Google, Gemini peut détecter des expressions alarmantes lors d’une conversation avec l’utilisateur. Dans les situations impliquant un risque de suicide ou d’automutilation, le système entre en jeu et montre à l’utilisateur comment obtenir une aide d’urgence.
Accès direct à la ligne d’assistance
Une interface appelée « L’aide est disponible » est proposée avec le nouveau système. Cette fonctionnalité fournit un accès à une touche qui connecte directement l’utilisateur aux lignes d’assistance en cas de crise. De cette manière, les utilisateurs peuvent passer des appels téléphoniques, envoyer des messages, démarrer des discussions en direct et être dirigés vers des sites d’assistance.
Cette fonctionnalité a été développée en collaboration avec des experts cliniques. De plus, l’option d’aide reste visible tout au long du chat.
Google a également formé Gemini à ne pas confirmer de fausses informations psychologiques et à séparer soigneusement les faits des expériences subjectives des utilisateurs.
Un soutien de 30 millions de dollars
Outre les mises à jour technologiques, Google a également annoncé un soutien financier. Google.org fournira un total de 30 millions de dollars aux lignes d’assistance téléphonique en cas de crise dans le monde entier au cours des trois prochaines années.
4 millions de dollars de ce budget seront alloués à l’élargissement de la collaboration avec ReflexAI. L’objectif est de renforcer les services de soutien en santé mentale des organisations non gouvernementales et d’intégrer Gemini dans les systèmes éducatifs dans ce domaine.
Précautions particulières pour les jeunes
Google a également détaillé les mesures de sécurité mises en place pour les jeunes utilisateurs. En conséquence, les Gémeaux ne peuvent pas se présenter comme un être humain, n’utilisent pas d’expressions visant à établir un lien émotionnel et ne simulent pas « l’amitié » ou la « proximité » avec l’utilisateur.
Ces mesures visent à réduire les risques d’addiction affective, notamment chez les jeunes.
Des poursuites et une pression croissantes
Les nouvelles fonctionnalités arrivent à un moment où les sociétés d’IA sont soumises à une pression juridique croissante. Selon KQED, la famille d’une personne de 36 ans décédée en Floride a intenté une action en justice contre Google. La famille affirme que l’utilisation du chatbot s’est transformée en un processus de quatre jours ayant conduit au suicide.
La société mère de Google, Alphabet, n’est pas seule à cet égard. OpenAI et d’autres développeurs d’intelligence artificielle font face à des poursuites similaires au motif que les chatbots peuvent créer une dépendance émotionnelle et, dans certains cas, déclencher des pensées nuisibles.
Comme il n’existe pas de réglementation claire au niveau fédéral aux États-Unis, les tribunaux jouent un rôle important en encourageant les entreprises technologiques à agir de manière plus responsable.
Enfin, dans une affaire entendue à Los Angeles en mars, le jury a déclaré Meta et Google négligents dans une affaire liée à la dépendance aux médias sociaux. Cette décision a également donné lieu à une discussion sur les limites de la protection de la « Section 230 », qui exonère les entreprises technologiques de toute responsabilité en raison du contenu des utilisateurs.
L’industrie de l’intelligence artificielle se transforme
Au cours des 18 derniers mois, des entreprises comme OpenAI et Anthropic ont également mis à jour leurs mécanismes de protection de la santé mentale. Selon les experts, ces évolutions montrent que l’industrie de l’intelligence artificielle commence à accorder davantage d’attention aux sensibilités psychologiques des utilisateurs.
