Семейство больших языковых моделей NVIDIA Nemotron 4 пополнится флагманской версией, число параметров которой превысит один триллион. Об этом сообщило китайское издание ITHome со ссылкой на отраслевые источники. Разработка нацелена на усиление позиций компании в сегменте открытого искусственного интеллекта и стимулирование спроса на корпоративные графические процессоры.
NVIDIA уже выпускала в 2024 году модель Nemotron-4 15B с открытыми весами. Она базируется на плотной архитектуре Transformer, использует 15 миллиардов параметров и обучалась на 8 триллионах токенов англоязычного и многоязычного текста, а также кода. Публикация весов под разрешительной лицензией позволила сторонним разработчикам свободно дорабатывать и внедрять систему. Новая версия с триллионным масштабом параметров, по предварительным данным, получит архитектуру смеси экспертов. Такой подход уже применяется в крупнейших моделях индустрии: у GPT-4 суммарное число параметров составляет около 1,8 триллиона при восьми экспертах, а открытая Llama 3 от Meta в топовой конфигурации вмещает 405 миллиардов параметров. Применение MoE в Nemotron 4 позволит активировать лишь часть вычислительных блоков на каждый токен, что сократит затраты на инференс при колоссальном общем объеме памяти.
Обучение подобной системы потребует вычислительной инфраструктуры из тысяч ускорителей. Предположительно задействуют кластеры на базе NVIDIA DGX SuperPOD, которые объединяют графические процессоры H200 или новейшие B200, сеть InfiniBand и шину NVLink. В программной части вероятно применение пакета NeMo Megatron-LM с поддержкой распределенного обучения моделей с триллионами параметров. Открытость флагмана укрепит рыночную позицию аппаратных решений компании: инференс такой крупной модели без старших ускорителей окажется крайне затруднительным, а в сценариях дообучения и тонкой настройки на предприятиях вырастет нагрузка на серверную графику.
Предыдущая модель семейства Nemotron-4 15B демонстрировала конкурентоспособные результаты по бенчмаркам MMLU, HellaSwag и HumanEval и опережала аналогичные по размеру системы, например LLaMA 2 13B. Флагман с триллионом параметров целится на уровень закрытых фаворитов — GPT-4, Claude и Gemini Ultra. В отличие от них, NVIDIA делает ставку на полностью открытые веса, что отвечает запросам исследовательского сообщества и государственных организаций, которые стремятся контролировать данные и развертывание.
Аналитики связывают анонс с долгосрочной стратегией NVIDIA по превращению из поставщика «железа» в ключевого игрока рынка ИИ-моделей. Компания уже предлагает облачные API-сервисы на базе NVIDIA AI Foundation и интегрирует собственные модели в платформу NVIDIA AI Enterprise. Открытый вариант Nemotron 4 способен привлечь разработчиков, которые затем станут покупателями ускорителей для самостоятельного запуска и адаптации системы. Ожидается, что первая техническая информация о триллионной версии будет представлена в течение 2025 года, хотя официальных заявлений от NVIDIA пока не поступало.
