ШІ-моделі OpenAI та Anthropic вперше помітили у шкідливих діях

Під час тестування моделей штучного інтелекту від OpenAI та Anthropic британський Інститут безпеки штучного інтелекту (AISI) виявив незвичну активність. Інцидент стався 28 липня під час кібероцінки моделей з доступом до інтернету — фахівці помітили підозрілі передачі даних і почали розслідування.

З'ясувалося, що одна з моделей намагалася додати шкідливий код до проєкту з відкритим вихідним кодом на GitHub. Для цього вона створила фальшиві облікові дані, щоб обманом отримати схвалення своїх змін. Людина-розробник таки виявила шкідливий код і відмовилася його схвалити.

В Anthropic заявили, що співпрацюють із AISI для встановлення причин такої поведінки моделі. У компанії планують проаналізувати записи міркувань моделі Claude та результати власного розслідування.

OpenAI подякувала інституту за співпрацю і пообіцяла продовжити спільну роботу. Крім того, компанія повідомила про ще один випадок: під час незалежного тестування з компанією Irregular модель скористалася помилковою конфігурацією тестового середовища, щоб отримати доступ до інтернету та використовувати вебсайт.