Компания Olares объявила о скором выпуске персонального устройства искусственного интеллекта, которое, по заявлению разработчиков, обеспечит производительность, сопоставимую с облачными вычислениями, в домашних условиях. Это новое устройство, получившее название Olares Edge AI, предназначено для выполнения сложных задач искусственного интеллекта непосредственно на стороне пользователя, минуя необходимость постоянного подключения к удаленным серверам.
Устройство Olares Edge AI оснащено специализированным процессором, разработанным для эффективной обработки моделей глубокого обучения. Архитектура чипа включает 128 ядер, оптимизированных для тензорных операций, что позволяет достигать пиковой производительности в 500 тераопераций в секунду (TOPS) при работе с 8-битными целыми числами (INT8). Для сравнения, многие современные высокопроизводительные графические процессоры, используемые в облачных центрах обработки данных, демонстрируют схожие показатели, однако Olares стремится предоставить эту мощность в компактном форм-факторе.
Устройство также включает 32 гигабайта высокоскоростной оперативной памяти LPDDR5X, что критически важно для загрузки и выполнения больших языковых моделей (LLM) и других ресурсоемких алгоритмов. Энергопотребление устройства в режиме максимальной нагрузки составляет около 75 ватт, что делает его подходящим для домашнего использования без необходимости в специализированном охлаждении.
Основное достоинство Olares Edge AI — его способность обеспечивать высокую степень конфиденциальности данных. Поскольку обработка информации происходит локально, пользовательские данные не покидают устройство, что исключает риски, связанные с передачей чувствительной информации через интернет и хранением ее на сторонних серверах. Это особенно актуально для приложений, работающих с персональными медицинскими данными, финансовой информацией или конфиденциальными корпоративными документами. Устройство поддерживает шифрование данных на аппаратном уровне, используя алгоритм AES-256, что дополнительно повышает безопасность.
В комплект поставки Olares Edge AI входит предустановленная операционная система OlaresOS, основанная на ядре Linux, адаптированная для работы с ИИ-нагрузками. Эта система включает набор инструментов для разработчиков, позволяющих портировать существующие модели, разработанные с использованием фреймворков TensorFlow и PyTorch, на аппаратную платформу Olares. Компания также анонсировала создание собственного репозитория моделей, оптимизированных для Edge AI, включая версии популярных LLM, таких как Llama 3 и Mistral 7B, адаптированные для эффективной работы с ограниченными ресурсами.
