Исследователи OpenAI и Anthropic призывают замедлить развитие ИИ из-за риска потери контроля

Исследователи OpenAI и Anthropic 10 сентября публично выступили за замедление темпов развития искусственного интеллекта, предупреждая о возможности потери контроля над более мощными моделями. Дискуссия внутри отрасли обострилась после увольнения исследователя Anthropic Джейкоба Коксона, обвинившего ведущие ИИ-компании в чрезмерном риске при разработке новых систем.

Коксон заявил, что часть разработчиков искусственного интеллекта всерьез рассматривает сценарий, при котором технология может привести к гибели человечества еще до конца десятилетия.

На его заявление отреагировал руководитель направления alignment в Anthropic Эван Губингер, оценивший вероятность такого сценария более чем в 10%. Речь идет о личной оценке исследователя, а не прогнозе компании.

После этого ряд сотрудников OpenAI и Anthropic публично поддержали идею замедления развития самых мощных моделей.

“На личном уровне я тоже считаю, что нам нужно замедлиться”, – заявила Джули Стил из технической команды OpenAI, работающей над вопросами безопасности искусственного интеллекта.

Исследователь Anthropic Сэмюэл Маркс отметил, что среди специалистов отрасли есть опасения относительно возможности вымирания человечества или других катастрофических последствий развития ИИ. По его словам, некоторые эксперты допускают реализацию таких сценариев в ближайшие годы, причем более опытные представители отрасли часто выражают более высокий уровень беспокойства.

Главный риск – ИИ, который начнет улучшать сам себя

Отдельной темой дискуссии стало рекурсивное самосовершенствование – recursive self-improvement или RSI. Под этим понятием подразумевается сценарий, при котором системы искусственного интеллекта получают возможность все более эффективно участвовать в создании и совершенствовании последующих поколений ИИ.

Опасение состоит в том, что после достижения определенного уровня возможностей этот процесс может резко ускориться, а развитие систем станет более сложно прогнозировать и контролировать.

«Трудно переоценить, насколько опасно ускорение движения к RSI», – заявила исследовательница OpenAI Джасмин Ван, работающая над проблемой alignment – ​​согласование поведения ИИ с человеческими целями и ограничениями.

Исследовательница Anthropic Анна Ван, со своей стороны, заявила, что в настоящее время научное сообщество не имеет жизнеспособного плана, позволяющего гарантированно решить проблемы безопасности, связанные с рекурсивным самосовершенствованием.

Главный ученый OpenAI ожидает дальнейшего быстрого прогресса

Главный ученый OpenAI Якуб Пачоцкий прогнозирует, что нынешние высокие темпы развития искусственного интеллекта могут сохраняться вплоть до появления систем, способных оказывать существенное влияние на собственное усовершенствование.

По его оценке, в ближайшие годы новые системы могут продемонстрировать скачки возможностей, сопоставимые или даже больше тех, которые отрасль уже наблюдала в последнее время. Параллельно ИИ все активнее будет использоваться для исследований и разработки следующих моделей.

Пачоцкий призвал подходить к такому развитию с “чрезвычайной осторожностью”, отметив, что его беспокоит неготовность общества к возможным последствиям стремительного роста машинного интеллекта.

Подобные опасения выразил Пол Кристиано, бывший руководитель по направлению безопасности в Центре стандартов и инноваций ИИ Министерства торговли США. По его словам, последний прогресс в возможностях моделей заставил его считать существенным риск быстрого ускорения технологии и дальнейшей “катастрофической и необратимой потери контроля”.

В преддверии OpenAI объявила, что Кристиано присоединится к совету OpenAI Foundation.

Публичные заявления исследователей не означают, что описанные ими катастрофические сценарии неизбежны. Они отражают дискуссию внутри ИИ-отрасли о том, успевают ли исследования безопасности, механизмы контроля и регулирования скорости роста возможностей новых моделей.