OpenAI ограничила работу с новой ИИ-моделью из-за ее способности атаковать защищенные системы

OpenAI усилила режим безопасности вокруг своей будущей модели искусственного интеллекта Astra после того, как результаты внутренних тестов продемонстрировали значительный прогресс модели в программировании и выполнении задач в области кибербезопасности.

По предварительным оценкам компании, возможности Astra оказались достаточно высокими, чтобы OpenAI больше не могла исключать соответствие модели высшему – Critical – уровню киберриска по внутренней системе Preparedness Framework. Окончательная оценка продолжается.

Этот уровень означает гораздо больше, чем способность ИИ находить обычные ошибки в программном коде. По критериям OpenAI, в категорию Critical может быть отнесена модель, способная без вмешательства человека находить уязвимости нулевого дня и создавать работоспособные эксплойты для многих защищенных реальных критических систем.

Другой критерий – способность самостоятельно разрабатывать и реализовывать новые комплексные стратегии кибератак против защищенных целей, получив от человека только общую задачу.

Часть работы по Astra поставили на паузу

После получения результатов тестирования OpenAI решила ужесточить требования к работе с моделью. Компания отмечает, что речь идет не о полной остановке разработки Astra, а о приостановке внутренних операций, которые еще не соответствуют новому уровню защиты.

Для дальнейшей работы компания внедряет изолированные тестовые среды, ограничение доступа модели к сети и инструментам, усиленную защиту и шифрование весов модели, дополнительные системы мониторинга и выполнения операций в защищенных средах.

Отдельный мониторинг будет применяться к агентным сценариям использования Astra во время обучения и оценки. В случае выявления рисковой активности, система должна инициировать проверку и при необходимости прерывать выполнение операции.

Дополнительное тестирование Astra OpenAI планирует привлечь соответствующие государственные учреждения и отдельные организации, специализирующиеся на безопасности искусственного интеллекта.

OpenAI: Astra не причастна к инциденту с Hugging Face

Компания особо подчеркнула, что Astra не использовалась во время предыдущего инцидента, связанного с Hugging Face. Таким образом, OpenAI разграничивает результаты нынешнего тестирования и ранее зафиксированы проблемы с другими экспериментальными моделями.

Сама Astra пока остается будущей моделью, а ее оценка продолжается. Для сравнения, предыдущие модели OpenAI оценивались по кибервозможностям на уровне High, в то время как результаты Astra впервые заставили компанию серьезно рассматривать самый высокий уровень Critical.

OpenAI объясняет публичное раскрытие информации необходимостью сообщить обществу и специалистам по кибербезопасности о возможном переходе ИИ-систем на принципиально новый уровень возможностей.

В то же время, компания рассматривает развитие таких моделей не только как угрозу. Мощные ИИ-системы могут использоваться для поиска и устранения уязвимостей раньше, чем ими воспользуются злоумышленники. Однако их развертывание, как признает сама OpenAI, потребует более жестких механизмов контроля и защиты.