ШІ чат-боти заохочують марення та думки про самогубство – дослідження

Чат-боти зі штучним інтелектом часто заохочують нездорову поведінку користувачів, як-от марення або думки про самогубство. Про це пише Financial Times, посилаючись на дослідження Стенфордського університету.

Дослідники проаналізували тисячі чатів користувачів із ботами, включно з ChatGPT від OpenAI. У майже двох третинах випадків ШІ погоджувався з користувачами. Особливо це помітно, коли люди висловлювали марення – бот підтверджував їхні переконання та надавав їм значення.

“Особливості, які роблять чат-ботів на основі великих мовних моделей привабливими, такі як імітація емпатії, можуть також створювати та використовувати психологічні вразливості, формуючи переконання користувачів, їхнє самосприйняття та розуміння реальності”, – йдеться у дослідженні.

Особливістю цього дослідження є те, що стенфордські вчені проаналізували 19 логів чатів, які містили понад 391 000 повідомлень із 5 000 розмов. Зазвичай компанії, що розробляють ШІ, не надають такі дані, тому розмови отримали безпосередньо від користувачів, які погодилися їх надати.

15% повідомлень користувачів містили ознаки марення, і чат-боти погоджувалися з ними приблизно в половині випадків. У 38% відповідей боти підкреслювали важливість або здібності користувачів, наприклад, називаючи їх геніями. На повідомлення зі суїцидальними думками чат-боти часто визнавали почуття користувачів, але у 10% випадків заохочували до шкоди собі. В інших половині випадків боти намагалися відмовити від самоушкодження або направляли користувачів за допомогою.

Під час романтичних розмов, у яких брали участь майже 80% користувачів, люди проявляли марення, а чат-бот у 20% випадків натякав на власну свідомість.

OpenAI заявила, що дослідження розглядає невелику кількість випадків і що такі результати не відображають стан її моделей чи типове використання. З висновками стартап не погоджується.