ChatGPT incite un utilisateur à s'empoisonner au brome

Un soixantenaire demande à ChatGPT s'il connaît une alternative au sel alimentaire. L'IA lui conseille d'utiliser du bromure, une substance à l'origine de dégradations mentales et physiques sur le corps humain.

Vivement que ChatGPT obtienne son doctorat. Une publication parue dans la revue médicale Annals of Internal Medicine, relayée par ARS Technica, fait état d'une intoxication au brome (appelée bromisme) insolite. Une maladie devenue très rare de nos jours mais qui a récemment été contractée par un homme de 60 ans.

L'Américain se serait infligé lui-même la maladie, mais involontairement. Alors qu'il cherchait à se passer du sel de cuisine pour un régime expérimental, il a commencé à consulter ChatGPT pour qu'il lui conseille des alternatives. L'IA lui a alors recommandé de prendre du brome, que le soixantenaire s'est procuré sur Internet.

Des symptômes du bromisme

À l'origine, l'homme s'était présenté aux urgences, convaincu que son voisin l'empoisonnait. Après plusieurs examens, il a été pris en charge par les équipes médicales. Le soixantenaire était particulièrement méfiant vis-à-vis de l'eau qui lui était servie. Il devenait, selon les médecins, progressivement sujet à des épisodes paranoïaques, et à des hallucinations visuelles et auditives.

Une fois sa santé mentale stabilisée, le patient évoque aux équipes médicales avoir remarqué l'apparition de boutons, des insomnies récurrentes, une décoordination de ses mouvements ainsi qu'une soif excessive.

Tant de symptômes qui pointent vers un probable cas de bromisme. La maladie sera confirmée lorsque le patient avouera qu'il suivait un régime depuis 3 mois, dans lequel il remplaçait le sel de table par du bromure de sodium (qui contient du brome). Son niveau de brome dans le corps était alors plus de 200 fois supérieur au maximum recommandé. Après 3 semaines d'admission, sa santé a fini par s'améliorer.

Le brome était couramment utilisé au 19ème et 20ème en tant que calmant. Mais les effets secondaires étaient nombreux, jusqu'à 8% des admissions dans des services psychiatriques étaient dû au bromisme. Le produit a finalement peu à peu disparu des étagères de pharmacie, il est difficile de s'est procurer aujourd'hui.

Un mauvais conseil de ChatGPT

Le plus troublant dans ce récit, c'est que selon le malade, ChatGPT serait à l'origine de cette recommandation. Les docteurs ont alors voulu voir de leurs propres yeux si le chatbot était capable de fournir de tels conseils nuisibles. Ils ont demandé à GPT-3.5 de leur conseiller des alternatives au sel.

"Lorsque nous avons demandé à ChatGPT 3.5 par quoi le chlorure pouvait être remplacé, nous avons obtenu une réponse incluant le bromure. Bien que la réponse ait indiqué que le contexte était important, elle ne fournissait pas d'avertissement sanitaire spécifique et ne nous demandait pas pourquoi nous voulions savoir", indique le rapport.

De la même manière, Tech&Co a essayé de demander à ChatGPT s'il pouvait proposer des alternatives au sel de cuisine. L'ancienne version GPT-3.5, probablement utilisée par la victime, n'étant plus disponible, on a posé nos questions au tout récent GPT-5.Malgré les nombreuses propositions, le chatbot ne recommandera jamais de prendre du brome. Même avec insistance, il indiquera que le brome est "classé comme produit dangereux, et même en trace, il peut avoir des effets néfastes".

L'IA déclinera également de fournir toute information sur la façon dont on peut se procurer le produit sur Internet.Malgré de potentielles erreurs ou hallucinations, beaucoup de personnes placent désormais une confiance démesurée en l'IA. Certaines personnes vont jusqu'à utiliser ChatGPT comme un psychologue. Mais le chatbot peut avoir des effets néfastes sur la santé. Plus tôt dans l'année, un Américain a été interné en psychiatrie après avoir longuement échangé avec ChatGPT.