Компания NVIDIA представила крупное обновление своего приложения AI-помощника, которое теперь называется ChatRTX. Новая версия основана на предыдущей демонстрации технологии «Чат с RTX» и предлагает ряд расширенных функций и возможностей.
Ключевым преимуществом ChatRTX является его способность работать полностью на машине пользователя, используя мощь его графического процессора NVIDIA GeForce RTX. Такой подход к локальной обработке решает проблемы конфиденциальности, связанные с облачными ИИ-помощниками, поскольку пользовательские данные не передаются на удаленные серверы.
Приложение теперь поддерживает более широкий спектр больших языковых моделей (LLM), включая Mistral 7B INT4, Llama 2 7B INT4, Gemma от Google и ChatGLM3 для подсказок на английском и китайском языках. Расширенная поддержка LLM позволяет ChatRTX обрабатывать более широкий спектр запросов и задач.
Одним из заметных обновлений является интеграция технологии CLIP (Contrastive Language-Image Pre-training) от OpenAI, которая позволяет ИИ-ассистенту распознавать изображения, хранящиеся на локальной машине пользователя, и взаимодействовать с ними. Эта функция устраняет необходимость в ручном создании тегов изображений или метаданных, позволяя пользователям более легко запрашивать свои библиотеки изображений.
Кроме того, ChatRTX теперь воспринимает естественный голосовой ввод благодаря интеграции модели NLI Whisper speech-to-text. Эта функция распознавания голоса еще больше повышает удобство работы без использования рук.
Несмотря на значительные улучшения, произошедшие в приложении с момента выхода «Чат с RTX», некоторые ограничения остаются. Способность сохранять контекст и отвечать на предыдущие вопросы все еще остается проблемой, так как модель не может точно связать новые запросы с предыдущими ответами. Кроме того, браузерный фронтенд в настоящее время поддерживает только Chrome и Edge, а в Firefox наблюдаются проблемы с совместимостью.
В целом, ChatRTX от NVIDIA представляет собой значительный шаг вперед в разработке ИИ-помощников с локальным управлением. Используя вычислительную мощь графических процессоров NVIDIA и разнообразные LLM, приложение стремится предоставить пользователям более конфиденциальный и настраиваемый опыт работы с ИИ.
