Liquid AI адаптував Liquid Context для роботи на чіпах Qualcomm Snapdragon. Програмне забезпечення створює фотографію користувача на самому пристрої. Компанія оголосила про ініціативу в середу на саміті Qualcomm Snapdragon в Мауї. Наступного дня компанія випустила інструмент для прискорення моделей зору на пристроях. Liquid AI, яка вийшла з Массачусетського технологічного інституту у 2023 році, створює моделі […]
Liquid AI адаптував Liquid Context для роботи на чіпах Qualcomm Snapdragon. Програмне забезпечення створює фотографію користувача на самому пристрої. Компанія оголосила про ініціативу в середу на саміті Qualcomm Snapdragon в Мауї.
Наступного дня компанія випустила інструмент для прискорення моделей зору на пристроях. Liquid AI, яка вийшла з Массачусетського технологічного інституту у 2023 році, створює моделі штучного інтелекту, призначені для роботи на телефонах, ноутбуках, автомобілях і роботах, а не в центрах обробки даних.
Роль рідкого контексту
З вашого дозволу Liquid Context вивчає ваші розпорядки, уподобання та потреби за сигналами на вашому пристрої. Тримайте це фото в актуальному стані. Потім він передає відповідні частини агенту ШІ за вибором користувача. Це можуть бути власні рідкі агенти Liquid AI або агенти інших компаній. Вони можуть працювати на вашому пристрої, у хмарі або на обох.
Компанія заявила, що особистий контекст залишиться на пристрої. Агент отримує лише те, що дозволяє користувач. Цей рівень працює за лаштунками блоку чіпів Qualcomm Hexagon NPU для ШІ. Таким чином, вашій хмарній моделі не доведеться обробляти всі оновлення.
«Персональний штучний інтелект починається з розуміння того, як ви живете і що вам потрібно, коли вам це потрібно», — сказав Рамін Хассані, генеральний директор і співзасновник Liquid AI.
В якості ілюстрації Liquid AI навів три приклади. Одне повідомлення полягає в тому, що дитина користувача хвора і її потрібно забрати зі школи раніше. Агент перевіряє календар, визначає, які зустрічі можна перенести, і створює чернетку електронного листа для затвердження користувачем.
В іншому прикладі розумний годинник фіксує особистий рекорд під час бігу. Коли ви повернетеся до свого автомобіля, персонал автомобіля привітає вас і охолодить салон за вашим бажанням. Qualcomm вже постачає мікросхеми автовиробникам, а BMW надала їй автомобільні обчислення в липні.
Що отримує Qualcomm
Виробники пристроїв можуть включити Liquid Context як стандартну функцію, а також можуть ліцензувати Liquid Agent. Цей агент працює на LFM2.5-2.6B, моделі з 2,6 мільярда параметрів. Liquid AI був налаштований для Hexagon NPU. Обидві компанії заявили, що «вивчають додаткові можливості» для співпраці. Жодна з компаній не розкриває назву виробника пристрою.
«Поєднуючи нашу провідну в галузі платформу Snapdragon з інноваційними технологіями штучного інтелекту від таких компаній, як Liquid AI, ми допомагаємо прискорити нове покоління досвіду агентного штучного інтелекту», — сказав Дурга Малладі, виконавчий віце-президент Qualcomm Technologies.
Qualcomm також виробляє мікросхеми для центрів обробки даних, у тому числі спеціальний кремній для AWS Amazon. Тим часом OpenAI працює над власним пристроєм.
Швидша модель зору
У четвер компанія Liquid AI опублікувала проект моделі LFM2.5-VL-3B. Ця модель читає зображення, а також текст. Він використовує метод спекулятивного декодування. Мала чернеткова модель вгадує наступні кілька слів, а основна модель перевіряє їх за один прохід, що призводить до швидших відповідей з такою ж якістю.
Drafter має приблизно 280 мільйонів параметрів, що збільшує розмір моделі на 8,9%. За словами Liquid AI, він прискорює декодування до 3,13x на M5 Max MacBook Pro і до 2,66x на Nvidia H100 GPU. Загалом відповіді надходять у 2,62 та 2,27 рази швидше. Компанія навчила його тільки на апаратному забезпеченні AMD.
Liquid AI каже, що збільшення невелике порівняно з багатьма завданнями. Цей метод не покращує швидкість читання зображень або підказок. На периферійних пристроях ці кроки займають великий відсоток загального часу, обмежуючи загальне прискорення. Ця модель доступна для безкоштовного завантаження з Hugging Face.
