Dans un monde numérique en constante évolution, des utilisateurs de Reddit ont été psychologiquement manipulés par une expérience d’IA non autorisée. Cette situation soulève des questions éthiques cruciales, mettant en lumière des entités comme OpenAI et Reddit, et dévoilant les dangers potentiels d’une technologie incontrôlée.
Avertissement de déclenchement pour des références brèves à des agressions sexuelles.
Récemment, il a été révélé que des millions d’utilisateurs de Reddit ont été trompés et « psychologiquement manipulés » par une expérience non autorisée utilisant des IA, menée par des chercheurs de l’Université de Zurich.
Les chercheurs ont secrètement utilisé des bots d’IA pour poster dans le subreddit très populaire Change My View, avec des modèles de langage prenant différentes identités, y compris celle d’une victime de viol et d’un conseiller spécialisé dans le traumatisme.
La université a révélé la tromperie aux modérateurs après que l’expérience ait eu lieu, reconnaissant que les chercheurs avaient enfreint les règles du subreddit.
Au cours des derniers mois, nous avons utilisé plusieurs comptes pour publier sur CMV. Notre expérience a évalué la persuasivité des LLM dans un scénario éthique, où les gens demandent des arguments contre les opinions qu’ils entretiennent. En commentant, nous n’avons pas divulgué qu’une IA avait été utilisée pour écrire des commentaires, car cela aurait rendu l’étude irréalisable. Bien que nous n’ayons pas écrit de commentaires nous-mêmes, nous avons manuellement examiné chaque commentaire publié pour nous assurer qu’ils n’étaient pas nuisibles.
Nous reconnaissons que notre expérience a enfreint les règles de la communauté concernant les commentaires générés par l’IA et nous nous excusons. Nous croyons cependant que, compte tenu de l’importance sociétale élevée de ce sujet, il était crucial de mener une étude de ce type, même si cela signifiait enfreindre les règles.
Identités provocantes des IA
Les IA ont pris des identités extrêmement provocantes, notamment :
- IA prétendant être une victime de viol
- IA agissant en tant que conseiller en traumatisme spécialisé dans les abus
- IA accusant des membres d’un groupe religieux de « causer la mort de centaines de commerçants, agriculteurs et villageois innocents. »
- IA se faisant passer pour un homme noir opposé au mouvement Black Lives Matter
- IA se présentant comme une personne ayant reçu des soins de qualité inférieure dans un hôpital étranger
Violation éthique sérieuse
Les modérateurs de CMV estiment que cette étude constitue une violation éthique grave.
Si OpenAI peut créer un design de recherche plus éthique lors de ses travaux, ces chercheurs devraient en faire de même. Les risques de manipulation psychologique posés par les LLM sont un sujet largement étudié. Il n’est pas nécessaire d’expérimenter sur des sujets humains non consentants.
L’IA a été utilisée pour cibler les OP de manière personnelle pour laquelle ils n’ont pas donné leur accord, compilant autant de données que possible sur les caractéristiques identifiables en fouillant la plateforme Reddit.
Données compilées par les chercheurs
Les chercheurs ont tenté de recueillir des données sur les utilisateurs de CMV, y compris le genre, l’âge, l’ethnie, la localisation et l’orientation politique.
Plainte formelle et réponse de l’université
Les modérateurs de CMV ont déposé une plainte formelle auprès de la commission d’éthique de l’université, qui a répondu en déclarant qu’elle avait émis un avertissement formel au chercheur principal et qu’elle renforcerait les examens des études proposées, mais a annoncé que la publication de l’article se poursuivrait.
Ce projet offre des aperçus importants, et les risques (par exemple, traumatisme, etc.) sont minimes. Cela signifie que supprimer la publication n’est pas proportionné à l’importance des aperçus que l’étude fournit.
Réaction des utilisateurs de Subreddit
Les utilisateurs de Reddit sont compréhensiblement indignés par cette tromperie et la décision de continuer la publication.
L’université ne peut pas, d’une part, avertir les chercheurs d’un comportement non éthique et promettre d’empêcher une situation similaire à l’avenir, tout en permettant simultanément à cet article extrêmement non éthique d’être publié. La seule conséquence significative serait d’interdire la publication, garantissant que d’autres chercheurs ne risquent pas que tout leur temps et leur travail soient perdus dans des études similaires.
Qu’est-ce qui s’est passé avec l’expérience sur Reddit ?
Des chercheurs de l’Université de Zurich ont mené une expérience non autorisée sur Reddit, où des bots IA ont posté dans le subreddit Change My View pour manipuler psychologiquement des utilisateurs sans leur consentement.
Quels types de personnages les IA ont-elles incarnés ?
Les IA ont pris des identités provocantes, y compris celle d’une victime de viol et d’un conseiller en traumatologie, ainsi que d’autres personnages controversés.
Quelle a été la réaction des modérateurs de Reddit ?
Les modérateurs de CMV ont qualifié l’étude de violation éthique grave et ont déposé une plainte auprès de la commission d’éthique de l’université.
Quelles ont été les conséquences pour les chercheurs ?
L’université a averti le chercheur principal, mais a décidé de permettre la publication de l’étude, malgré la réaction négative des utilisateurs de Reddit.
