Компания ASUS представила вычислительный модуль UGen300, который подключается к компьютерам и другим устройствам через разъём USB-C. Эта новинка позиционируется как первое в мире подобное решение для ускорения работы генеративных нейросетей непосредственно на конечном устройстве, без обращения к удалённым серверам. Устройство размером 105 на 50 на 18 миллиметров оснащено специализированным процессором Hailo-10H и 8 гигабайтами оперативной памяти LPDDR4. Производительность модуля достигает 40 триллионов операций в секунду (TOPS) при работе с 4-битными целыми числами (INT4).
В отличие от обычных нейронных процессоров (NPU), встроенных в современные центральные процессоры, ускоритель ASUS имеет собственную выделенную память. Такой подход исключает соревнование за ресурсы с основной системой и устраняет узкие места при обработке больших языковых моделей (LLM) или моделей, работающих с изображениями и текстом (VLM). Потребление энергии новинкой в типовом режиме работы составляет всего 2,5 ватта. Для сравнения, модуль Hailo-10H в формате M.2, анонсированный годом ранее, потреблял менее 3,5 ватта, а фирменный ускоритель Raspberry Pi AI HAT+ 2 на том же чипе требует установки на плату через PCIe-разъём.
Конструкция UGen300 реализована по принципу «подключи и работай». Устройство совместимо с операционными системами Windows, Linux и Android, а также поддерживает популярные фреймворки для машинного обучения, такие как TensorFlow, PyTorch и ONNX. Полноценная поддержка драйверов для Windows ожидается к середине мая 2026 года, а для Android она пока доступна только корпоративным клиентам. Для разработчиков подготовлена онлайн-библиотека (модельный зоопарк) с более чем сотней предварительно обученных моделей. Помимо USB-версии, компания также предлагает вариант ускорителя в формате M.2 2280 для установки непосредственно на материнскую плату в слот PCIe.
