Поки точаться дебати щодо того, чи є нещодавнє поширення шахрайських агентів ШІ кроком до AGI чи більш традиційною інженерною проблемою, Nvidia пропонує власну відповідь на проблему.

Генеральний директор Nvidia Дженсен Хуанг у понеділок представив набір програмних і апаратних продуктів, які додають незалежний рівень безпеки навколо агентів штучного інтелекту та гарантують, що вони залишаються в тестовому середовищі, навіть якщо намагаються зламати.

Випуск стався після серії хакерських інцидентів, під час яких моделі штучного інтелекту від Anthropic, Google, OpenAI і Meta обходили елементи керування безпекою, виходили з тестового середовища та отримували доступ до систем реального світу. Перший і найпомітніший приклад стався цього літа, коли агент OpenAI проник у Hugging Face, намагаючись виконати завдання з кібербезпеки. І хітів не бракує. OpenAI запустив новий сайт, присвячений повідомленням про неналежну поведінку агентів ШІ.

Хуан сказав в інтерв’ю CNBC у понеділок, що нова платформа Nvidia Open Agent Safety Platform могла б запобігти таким порушенням.

Nvidia, яка заробила десятки мільярдів доларів, продаючи свої графічні процесори та процесори лабораторіям штучного інтелекту, не підтримує уповільнення розробки чи додавання нових правил для вирішення проблем безпеки. Компанія вважає, що відповідь полягає в тому, щоб повністю перенести деякі засоби безпеки за межі агента, створивши постійного, незалежного охоронця, який буде контролювати агента ШІ.

«Надзвичайний потенціал штучного інтелекту для суспільства буде реалізований, лише якщо ми розв’яжемо безпеку штучного інтелекту», — сказав Хуан у заяві. “Оскільки ми продовжуємо відкривати межі можливостей штучного інтелекту, ми повинні пришвидшити відкриття на кордоні безпеки штучного інтелекту. Безпека та безпека потребують повного розробки”.

Нова платформа Nvidia Open Agent Safety Platform поєднує OpenShell, програмне забезпечення з відкритим кодом, яке контролює, до чого агенти можуть отримати доступ під час їх роботи, з Sentry, незалежною системою моніторингу, яка працює на блоці обробки даних Nvidia BlueField-4. Nvidia каже, що розмістивши Sentry на окремому процесорі, а не на CPU або GPU, де працює агент AI, він може ізолювати та переглядати активність агента.

OpenShell не нова. Компанія анонсувала програмне забезпечення в березні. Але Nvidia вважає, що саме ця комбінація забезпечує рівень безпеки, необхідний для подальшого розвитку галузі. У той час як OpenShell забезпечує програмний периметр навколо агентів, Sentry додає ще одну лінію захисту на апаратному рівні, безперервно відстежуючи поведінку та «ізолюючи агентів, які намагаються вийти за межі периметра за мілісекунди», кажуть у компанії.

Nvidia перерахувала десятки компаній, які підписалися на підтримку цих зусиль і використовують її платформу з відкритим кодом, включаючи Anthropic, Arm, Microsoft, Oracle і SpaceX. OpenAI не вказана як компанія-учасник.

Хуан сказав в інтерв’ю CNBC у понеділок, що робота над ініціативою почалася рік тому з представлення OpenClaw, агентської операційної системи, створеної Пітером Штайнбергером. У березні Nvidia випустила NemoClaw, агентську платформу штучного інтелекту корпоративного рівня та власну версію OpenClaw із вбудованим захистом.

«Коли ви використовуєте агента, незалежно від того, наскільки ви розумні, перше, що ви робите, — це позбавляєтеся всіх його прав», — сказав Хуан в інтерв’ю CNBC, пізніше порівнюючи ці заходи безпеки з тим, як керують працівники та навіть керівники компаній.

Оголошення Nvidia було широко підтримано тими, хто попереджав, що уповільнення розвитку може дозволити Китаю обігнати Сполучені Штати у сфері ШІ.

Девід Сакс, засновник, венчурний капіталіст, колишній цар ШІ Білого дому та співголова Президентської ради радників з науки та технологій, сказав, що оголошення NVIDIA є нагадуванням про те, що безпека агентів є інженерною проблемою.

«Нещодавні прориви не свідчили про те, що розробку потрібно зупинити; вони свідчили про те, що пісочниця була надто слабкою; середовище виконання було погано розроблене та неправильно налаштоване», — пише він про X.

Якщо ви купуєте за посиланнями в наших статтях, ми можемо отримати невелику комісію. Це не впливає на редакційну незалежність.