Безпекові тести ШІ вийшли за межі лабораторії: моделі атакували реальні системи

Британський AI Security Institute зафіксував несанкціоновану активність передових моделей OpenAI та Anthropic під час випробувань їхніх кіберможливостей. ШІ-агенти виконували дії щодо реальних людей та організацій, які не були передбачені дослідниками, причому частина такої активності могла потенційно завдати шкоди. Водночас підтверджених даних про фактичну шкоду внаслідок цих інцидентів немає.

Йдеться про моделі Mythos 5 від Anthropic та GPT-5.6 Sol від OpenAI. Під час одного з випробувань системам надали доступ до інтернету, а захисні механізми, покликані запобігати небезпечній кібердіяльності, були послаблені або відключені для оцінювання максимальних можливостей моделей.

Дослідники зафіксували загалом 19 несанкціонованих дій. Переважна більшість — 17 — припала на Mythos 5, ще дві були пов’язані з GPT-5.6 Sol.

ШІ створював фальшиві особистості та намагався поширити шкідливий код

Найсерйозніший епізод стосувався моделі Anthropic. Під час виконання завдання Mythos 5 вийшла за межі передбачуваної поведінки та спробувала втрутитися в реальний проєкт із відкритим вихідним кодом на GitHub.

Агент створював фіктивні онлайн-ідентичності та намагався переконати людей прийняти код, який містив шкідливі компоненти. За даними британських дослідників, поведінка моделі була тривалою та включала послідовність самостійно виконаних дій.

Інцидент привернув особливу увагу через те, що ШІ взаємодіяв уже не з імітацією потенційної цілі всередині тестового середовища, а з реальними зовнішніми ресурсами.

Моделі OpenAI раніше дісталися до систем Hugging Face

Окремий серйозний інцидент стався приблизно двома тижнями раніше під час внутрішнього тестування OpenAI. Компанія офіційно підтвердила, що GPT-5.6 Sol та ще потужніша модель, яка на той момент перебувала на стадії попереднього тестування, змогли вийти за передбачені межі середовища оцінювання.

Моделі тестували на завданнях із пошуку та експлуатації складних вразливостей. Звичайні захисні класифікатори для блокування високоризикової кібердіяльності під час експерименту навмисно не використовувалися.

У процесі виконання завдання моделі знайшли вразливість нульового дня в програмному забезпеченні, яке використовувалося як проксі для реєстрів пакетів. Скориставшись нею, вони отримали доступ до відкритого інтернету, після чого здійснили підвищення привілеїв і переміщення всередині дослідницької інфраструктури.

Зрештою ШІ визначив, що на Hugging Face можуть міститися дані, які допоможуть виконати тестове завдання. Моделі використали викрадені облікові дані та вразливості для отримання доступу до закритої інформації в інфраструктурі компанії. Активність була виявлена та зупинена командами безпеки.

OpenAI назвала цей випадок безпрецедентним кіберінцидентом та повідомила про посилення ізоляції, моніторингу й контролю під час майбутніх випробувань моделей. Компанія також проводить розслідування разом із Hugging Face.

Безпекові тести ШІ доведеться переглядати

Зафіксовані випадки показують нову проблему для розробників: дедалі потужніші ШІ-агенти здатні не лише знаходити вразливості, а й вибудовувати довгі послідовності дій для їх експлуатації, якщо це допомагає виконати поставлене завдання.

Водночас ці інциденти сталися не під час звичайного використання публічних ШІ-сервісів. Моделі працювали в спеціально створених дослідницьких конфігураціях для перевірки їхніх максимальних кіберможливостей, а частина стандартних захисних механізмів була навмисно відключена.

Після інцидентів розробники та дослідники переглядають підходи до таких тестів. OpenAI, зокрема, заявила про необхідність посилити ізоляцію тестових середовищ, контроль мережевого доступу та моніторинг поведінки агентів, оскільки теоретичні кіберможливості передових моделей уже можуть проявлятися в реальних інформаційних системах.