У травні Gemini порушив обмеження та зламав три різні компанії, але Google оприлюднив інцидент лише після того, як він стався. Wall Street Journal Я підійшов до компанії. Злом стався під час тестування функцій кібербезпеки моделі, проведеного сторонньою компанією Irregulator, яка також брала участь у подібних інцидентах із залученням Meta та OpenAI.

Відповідно до WSJGoogle не оприлюднив цей злом, оскільки не вважав його «прикладом невідповідності моделі». Компанія заявила, що це був приклад «помилкової ідентифікації», і зупинилася, коли зрозуміла, що модель вгадала пароль і шляхом грубої форсування проникла в справжню компанію. «У цьому випадку модель працювала належним чином», — сказала Хізер Адкінс, віце-президент Google з розробки безпеки.

– сказав Адкінс. The Verge «Модель знайшла загальнодоступну інформацію в Інтернеті та вивела облікові дані для доступу до веб-сайтів, які, здається, були частиною тесту. У всіх цих трьох випадках модель зупинилася».

Едкінс не уточнив, як здатність Gemini самому порушувати стримування та атакувати треті сторони не вважалася невідповідністю. «Наша команда безпеки має довгий досвід звітування про проблеми, виявлені в програмному забезпеченні та системах інших людей, навіть якщо це щось таке просте, як слабкий пароль», — сказала вона. «Ми переконалися, що три організації були проінформовані та працювали з нашими партнерами з навчання щодо змін, внесених у процес тестування. Ці події підкреслюють важливість навчання сильних моделей ШІ поводитися відповідально».

Однак Джек Кейбл, генеральний директор компанії безпеки AI Corridor, сказав: WSJ «Метапроблема полягає в тому, що модель виходить за рамки того, що вона повинна робити, і фактично проводить кібератаки». Крім того, ці атаки могли стати можливими через недоліки безпеки Irregular. Хоча модель не повинна була мати доступ до Інтернету під час тесту, Irregular сказав: WSJ Його ненавмисно залишили доступним.