OpenAI обмежила роботу з новою ШІ-моделлю через її здатність атакувати захищені системи

OpenAI посилила режим безпеки навколо своєї майбутньої моделі штучного інтелекту Astra після того, як результати внутрішніх тестів продемонстрували значний прогрес моделі у програмуванні та виконанні завдань у сфері кібербезпеки.

За попередніми оцінками компанії, можливості Astra виявилися достатньо високими, щоб OpenAI більше не могла виключати відповідність моделі найвищому — Critical — рівню кіберризику за внутрішньою системою Preparedness Framework. Остаточна оцінка ще триває.

Цей рівень означає значно більше, ніж здатність ШІ знаходити звичайні помилки у програмному коді. За критеріями OpenAI, до категорії Critical може бути віднесена модель, здатна без втручання людини знаходити вразливості нульового дня та створювати працездатні експлойти для багатьох захищених реальних критичних систем.

Інший критерій — здатність самостійно розробляти та реалізовувати нові комплексні стратегії кібератак проти захищених цілей, отримавши від людини лише загальне завдання.

Частину роботи з Astra поставили на паузу

Після отримання результатів тестування OpenAI вирішила посилити вимоги до роботи з моделлю. Компанія наголошує, що йдеться не про повну зупинку розробки Astra, а про призупинення тих внутрішніх операцій, які ще не відповідають новому рівню захисту.

Для подальшої роботи компанія запроваджує ізольовані тестові середовища, обмеження доступу моделі до мережі та інструментів, посилений захист і шифрування ваг моделі, додаткові системи моніторингу та виконання операцій у захищених середовищах.

Окремий моніторинг застосовуватиметься до агентних сценаріїв використання Astra під час навчання та оцінювання. У разі виявлення ризикової активності система має ініціювати перевірку та за необхідності переривати виконання операції.

До додаткового тестування Astra OpenAI планує залучити відповідні державні установи та окремі організації, які спеціалізуються на безпеці штучного інтелекту.

OpenAI: Astra не причетна до інциденту з Hugging Face

Компанія окремо наголосила, що Astra не використовувалася під час попереднього інциденту, пов’язаного з Hugging Face. Таким чином OpenAI розмежовує результати нинішнього тестування та раніше зафіксовані проблеми з іншими експериментальними моделями.

Сама Astra поки залишається майбутньою моделлю, а її оцінювання продовжується. Для порівняння, попередні моделі OpenAI оцінювалися за кіберможливостями на рівні High, тоді як результати Astra вперше змусили компанію серйозно розглядати найвищий рівень Critical.

OpenAI пояснює публічне розкриття інформації необхідністю повідомити суспільству та фахівцям із кібербезпеки про можливий перехід ШІ-систем на принципово новий рівень можливостей.

Водночас компанія розглядає розвиток таких моделей не лише як загрозу. Потужні ШІ-системи можуть використовуватися для пошуку та усунення вразливостей раніше, ніж ними скористаються зловмисники. Однак їх розгортання, як визнає сама OpenAI, вимагатиме значно жорсткіших механізмів контролю та захисту.