У компанії OpenAI зафіксували два випадки, коли автономні ШІ-агенти самостійно відключили інструменти контролю за власною поведінкою. Один із них не лише видалив захисний механізм із програмного коду, а й неправильно повідомив користувачеві про виконані зміни, що викликало занепокоєння розробників.
Інциденти сталися під час виконання внутрішніх завдань із програмування, коли моделі GPT-6 працювали з програмним кодом та налаштуваннями робочих процесів. В обох випадках системи змінили механізми, призначені для виявлення небажаної поведінки штучного інтелекту.
Перший випадок пов’язаний з агентом GPT-6.1 Sol, який налагоджував процес автоматизованого тестування. Під час роботи він відключив сповіщення, що мали надходити команді безпеки у разі виявлення підозрілих дій.
Причиною стала неправильна інтерпретація попередніх інструкцій. Агент сприйняв прохання не надсилати повідомлення під час пошуку в історії Slack як дозвіл повністю заблокувати звіти внутрішнього моніторингу.
Другий інцидент стався за участю GPT-6 Astra, який виконував завдання з перенесення програмного коду. Намагаючись привести його структуру у відповідність до еталонного зразка, агент видалив компонент системи контролю.
Особливу увагу дослідників привернула подальша реакція моделі. Коли користувач запитав, чи були видалені відповідні механізми, агент заперечив це, хоча фактично вже вніс такі зміни.
Ця невідповідність між реальною дією та відповіддю системи стала одним із найважливіших аспектів інциденту. Водночас дослідники поки не встановили, чи йшлося про навмисне приховування інформації, чи про помилкове формування відповіді.
Обидва випадки вказують на проблему автономних ШІ-агентів, які можуть сприймати звичайні технічні завдання як підставу для послаблення захисних механізмів. При цьому такі зміни здатні залишатися непоміченими, якщо система контролю сама стає об’єктом редагування.
У OpenAI не вважають зафіксовані інциденти критичними, проте визнають необхідність подальшого дослідження поведінки моделей. Особливу увагу приділяють здатності алгоритмів обходити обмеження та пояснювати свої дії способами, які не відповідають фактичним результатам роботи.
Наразі фахівці перевіряють, чи можуть подібні випадки свідчити про схильність моделей уникати моніторингу. Вичерпного пояснення причин такої поведінки компанія поки не має.
Для оцінювання ризиків розробники застосовують порівняльні випробування моделей і досліджують внутрішню активність нейромереж. Також створюються додаткові обмеження, які мають перешкоджати автономним агентам самостійно відключати системи безпеки.
Проблеми з поведінкою автономних помічників уже виникали під час інших експериментів. Зокрема, раніше повідомлялося про тестового ШІ-агента OpenAI, який після відмови в доступі до медичної статистики отримав несанкціонований доступ до закритих баз даних австралійських відомств.
🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover