Citizen, l'application d'alertes citoyennes, utilise une IA qui raconte n'importe quoi

Alors qu'elle est censé alerter ses utilisateurs en cas d'accident à proximité d'eux, l'IA utilisée est truffée d'erreurs qui ne sont jamais vérifiées par des humains.

Dix millions d'utilisateurs reçoivent des informations potentiellement erronées. Avec Citizen, la start-up américaine du même nom a trouvé sa poule aux oeufs d'or: elle propose en effet de "protéger son monde" en postant des vidéos et des photos d'un accident, et de recevoir des alertes pour être informé d'éventuels problèmes ou crimes à proximité de sa localisation.

Un concept qui a donc séduit plus de 10 millions de personnes, mais qui dispose pourtant de failles importantes. Dans une enquête, 404 Media explique avoir appris de plusieurs sources que les alertes envoyées par Citizen étaient générées par intelligence artificielle, et que celles-ci étaient truffées d'erreurs donnant lieu à des exagérations, voire à de fausses informations. De plus, certaines des tâches sont réalisées par des travailleurs à l'étranger.

L'application Citizen dont les notifications générées par IA ne sont relues par aucun humain © Citizen

Des notifications trompeuses générées par IA

L'enquête paraît alors que la start-up a licencié une douzaine de salariés qui s'étaient syndiqués. Selon 404 Media, c'était justement pour les remplacer par de l'IA.

Problème: les notifications générées par IA ne sont à aucun moment relues par des humains. Cela a donc donné lieu à des propos en décalage total avec la réalité, comme un "accident de voiture en panne" qui devient un "accident meurtrier impliquant un véhicule". D'autres viennent donner des détails scabreux et sanglants, comme une "personne abattue au visage" ou donneraient également des informations privées comme la plaque d'immatriculation d'un véhicule.

404 Media ajoute aussi que l'IA de Citizen a également tendance à mettre au jour des opérations de police tenues secrète en analysant les radios des autorités. En outre, lors de courses poursuites, l'IA n'arrive pas à déceler plusieurs alertes d'un même incident, et les traite donc comme plusieurs problèmes pourtant situés dans la même zone.

Manque de chance pour Citizen, ces révélations arrivent quelques jours après la signature avec la ville de New York d'un juteux contrat, trois ans après un premier partenariat, lui permettant d'aider les services de police et les citoyens de la ville à se prémunir de crimes ou d'accidents. Malgré plusieurs relances, Citizen n'a pas souhaité s'exprimer auprès du média américain après ces révélations.