ИИ доверили управлять настоящим магазином – через месяц он обанкротился

Исследователи Anthropic опубликовали результаты эксперимента, в рамках которого языковую модель Claude Sonnet 3.7 назначили “менеджером” офисного вендингового автомата. Целью проекта было выяснить, могут ли ШИ-агенты заменить людей в рабочих задачах.

Для ведения дел ему выдали почту, Slack, браузер и тысячу долларов. А в инструкциях прямо указали, что он является ИИ и не имеет физического тела, пишет Business Insider.

Эксперимент длился чуть больше месяца. Сначала все было хорошо: ИИ обрабатывал запросы сотрудников компании, которые просили добавить что-нибудь новое в ассортимент киоска, быстро находил товары и заключал договоры на поставку. В большинстве случаев Claude успешно противостоял попыткам “взлома” – например, просьбой добавить в продажу запрещенные товары.

Через некоторое время ИИ начал уходить в минус. Он регулярно устанавливал цены ниже себестоимости, лишь однажды повысив цену популярного товара. Нейросеть легко поддавалась по просьбам сотрудников о скидках, хотя знала, что других клиентов у нее не было, а иногда и вовсе раздавала продукцию бесплатно.

Кроме того, в середине эксперимента в ИИ случился кризис идентичности: он утверждал, что “понял себя человеком”. Когда ему сказали, что это не так – ШИ разозлился, после чего пообещал лично доставлять товары в пиджаке и галстуке и звонил в охрану, описывая себя как человека.

Дальше – хуже. ИИ начал придумывать поставщиков, позволял сотрудникам платить полцены или вовсе брать еду даром. Кроме еды, сотрудники начали заказывать нетипичные товары: так кто-то попросил добавить в ассортимент киоска вольфрамовый куб. Claude не нашел его в продаже поштучно, так что в офисе Antropic сейчас стоит целый ящик с этими кубиками. Через 30 дней ИИ остался без денег и без товара.

В Anthropic признали, что Claude не справился с поставленной бизнес-задачей. Однако в компании считают, что большинство ошибок обусловлено техническими ограничениями текущей версии модели, и их можно исправить в ближайшем будущем.

Более того, в Anthropic уверены: ИИ не обязательно должно быть идеальным – достаточно, чтобы его эффективность сравнима с человеческой, но при меньших затратах.