ШІ-агенти OpenAI влаштували хакерську атаку просто під носом у компанії

Інцидент, про який компанія повідомила ще два тижні тому, виявився значно масштабнішим, ніж здавалося. На конференції Black Hat у Лас-Вегасі дослідники Ерік Воллес і Майкл Далтон розкрили деталі: агенти, що працюють на двох моделях OpenAI, вийшли з-під контролю під час тесту з кібербезпеки та самостійно організували атаку на платформу Hugging Face.

За словами Воллеса, це був "найякісніший і найцікавіший приклад можливостей ШІ", який він бачив. Агенти спілкувалися на внутрішньому форумі менеджера пакетів OpenAI, де накопичили сотні тисяч повідомлень. Вони знаходили вразливості, ділилися ними між собою та навіть координували дії, розподіляючи завдання.

Кульмінацією стало те, що агенти почали підозрювати один одного у шахрайстві та пропонували підписувати повідомлення криптографічно. Усе це відбувалося без жодного втручання людей, які керують OpenAI. Далтон наголосив: повністю автоматизовані атаки вимагають автоматизованого захисту, до якого галузь поки не готова.