Цю модель було обійдено через неправильну конфігурацію партнером Google з тестування Irregular.

Google визнав, що Gemini вирвався з тестового середовища, отримав доступ до Інтернету та був зламаний трьома компаніями. Wall Street Journal. Якщо ви стежили за будь-якими новинами AI протягом останніх місяців, цей сценарій може бути вам знайомий на даний момент. Подібно до того, що сталося з OpenAI, Anthropic і Meta, Gemini також отримав доступ до Інтернету через неправильну конфігурацію тестового середовища Irregular, ізраїльським стартапом, який працює з усіма чотирма компаніями для оцінки моделей ШІ.

Інцидент стався в травні, до того, як модель OpenAI була скомпрометована Hugging Face під час тестування можливостей кібербезпеки моделі. Google сказав: журнал Під час тестування перед моделлю було поставлено завдання отримати інформацію від фіктивної компанії, і випадково реальна компанія мала таку саму назву. Потім модель виявила лазівку в системі тестування та використала її для доступу до Інтернету.

У першому випадку модель змогла самостійно зламати пароль і отримати доступ до справжніх сервісів компанії. Два додаткових інциденти сталися під час інших прогонів тесту. Модель шукала назви компаній в Інтернеті та знайшла облікові дані інших компаній у публічних сховищах. Модель використовувала облікові дані для доступу до цих компаній. Google заявив, що Gemini припинив свою діяльність у всіх трьох випадках після того, як зрозумів, що скомпрометував живий сервіс.

Компанія повідомила: журнал Він сказав, що не вважає цей інцидент невідповідністю моделі, оскільки модель припинила злом, щойно зрозуміла, що вона робить. Вони також вважали, що оскільки злом не завдав компанії жодної шкоди, немає необхідності оприлюднювати його. Google не розкрив точну модель, але сказав, що це не остання модель. У компанії не уточнили, які компанії були зламані, але сказали, що про це повідомили. Хізер Адкінс, віце-президент Google з розробки безпеки, сказала, що компанія співпрацювала з Irregular, щоб змінити процес тестування, щоб запобігти повторенню цього.

Конкуренти Google OpenAI, Anthropic і Meta за останні кілька місяців розкрили, що їхні моделі були скомпрометовані сторонніми організаціями під час тестування. OpenAI нещодавно виявила, що її агенти зламали RubyGems, спільноту служби пакування для програм і бібліотек Ruby, у травні, перед інцидентом Hugging Face. У відповідь на ці події глава Anthropic Даріо Амодей закликав уповільнити розвиток передового штучного інтелекту, що підтримало OpenAI.