Компания AMD представила новый открытый проект GAIA для локального запуска языковых моделей на компьютерах с Windows. Система разработана для процессоров AMD Ryzen AI 300-й серии и использует встроенный нейронный процессор NPU совместно с интегрированной графикой для обработки моделей.
Для работы с языковыми моделями GAIA применяет программный комплекс Lemonade SDK от ONNX TurnkeyML. Технология поддерживает различные локальные модели, включая варианты Llama и Phi. Разработчики выпустили две версии программы — стандартную для обычных Windows-компьютеров и гибридную с оптимизацией под процессоры Ryzen AI.
Архитектура GAIA состоит из трех основных компонентов: соединителя LLM для взаимодействия с нейропроцессором, конвейера LlamaIndex RAG для обработки запросов и веб-сервера для пользовательского интерфейса. В состав программы входят несколько интеллектуальных агентов, включая модуль прямого взаимодействия с моделью, чат-бот с историей диалогов, систему поиска по YouTube и генератор юмористического контента.
При обработке пользовательских запросов система преобразует их в векторный формат, находит релевантную информацию в базе данных и интегрирует ее в запрос к языковой модели. После генерации ответ передается через пользовательский интерфейс.
Начиная с версии Ryzen AI Software 1.3, GAIA поддерживает гибридное использование квантованных языковых моделей на NPU и интегрированной графике. Локальная обработка данных обеспечивает повышенную конфиденциальность и сниженные задержки без необходимости облачных вычислений.
Технология находит применение в сферах, требующих защиты данных — здравоохранении, финансах и корпоративном секторе. GAIA также эффективна в системах без постоянного доступа к интернету, так как все вычисления выполняются локально.
