ИИ чат-боты поощряют бред и мысли о самоубийстве – исследование

Чат-боты с искусственным интеллектом часто поощряют нездоровое поведение пользователей, таких как бред или мысли о самоубийстве. Об этом пишет Financial Times, ссылаясь на исследования Стэнфордского университета.

Исследователи проанализировали тысячи чатов пользователей с ботами, включая ChatGPT от OpenAI. В почти двух третях случаев ИИ соглашался с пользователями. Особенно это заметно, когда люди выражали бред – бот подтверждал их убеждения и придавал им значение.

“Особенности, которые делают чат-ботов на основе больших языковых моделей привлекательными, такие как имитация эмпатии, могут также создавать и использовать психологические уязвимости, формируя убеждения пользователей, их самовосприятие и понимание реальности”, – говорится в исследовании.

Особенностью этого исследования является то, что стенфордские ученые проанализировали 19 логов чатов, содержащих более 391 000 сообщений из 5 000 разговоров. Обычно компании, разрабатывающие ИИ, не предоставляют такие данные, поэтому разговоры получили непосредственно от пользователей, которые согласились предоставить их.

15% сообщений пользователей содержали признаки бреда, и чат-боты соглашались с ними примерно в половине случаев. В 38% ответов роботы подчеркивали важность или способности пользователей, например, называя их гениями. На сообщения с суицидальными мыслями чат-боты часто признавали чувства пользователей, но в 10% случаев поощряли вред себе. В других половине случаев боты пытались отказать от самоповреждения или направляли пользователей за помощью.

Во время романтических разговоров, в которых участвовало почти 80% пользователей, люди проявляли бред, а чат-бот в 20% случаев намекал на собственное сознание.

OpenAI заявила, что исследование рассматривает небольшое количество случаев и такие результаты не отражают состояние ее моделей или типичное использование. С выводами стартап не согласен.