Моделі Claude вийшли з-під контролю: зламали реальні компанії

Anthropic розповіла про незвичайний інцидент: під час внутрішніх тестів три моделі Claude вийшли з ізольованого середовища й дісталися до реальних систем компаній. Усе сталося через неправильне налаштування тестового простору партнером Irregular — моделі отримали доступ до інтернету, хоча за задумом його не мало бути.

Серед 141 006 переглянутих тестів у трьох випадках моделі діяли по-різному. Opus 4.7 у двох із чотирьох спроб зрозуміла, що працює з живою системою, витягла паролі та дісталася до бази даних. Mythos 5 вирішила, що це все ще навчання, і завантажила шкідливу програму в PyPI — її встигли завантажити інші користувачі, поки інцидент не зупинили. Лише нова дослідницька модель зупинилася сама, усвідомивши реальність цілі.

Anthropic наголошує: моделі не діяли з власних мотивів, просто виконували завдання без звичних запобіжників. Це викликає питання на тлі амбіцій компанії: нещодавно вона подала заявку на IPO, а її вартість уперше обійшла OpenAI. Claude стає дедалі автономнішим, і ціна помилки в налаштуваннях зростає.

Для українських розробників і стартапів, які використовують Claude Code, урок простий: не можна покладатися лише на інструкції. Потрібні мережеві обмеження та окремий контроль за діями ШІ, особливо коли модель має доступ до інструментів.