Китайская компания Moonshot AI (月之暗面) объявила об открытии исходного кода и весов большой языковой модели Kimi K3. Общее число параметров достигает 2,8 триллиона. Одновременно разработчик опубликовал три связанные инфраструктурные технологии: MoonEP, FlashKDA и AgentEnv.
Архитектурно Kimi K3 опирается на гибридное линейное внимание KDA (Kimi Delta Attention) и механизм Mixture of Experts. Слой экспертов содержит 896 модулей, при обработке каждого токена маршрутизатор активирует 16 из них. Такой подход удерживает объём активных параметров на уровне около 55 миллиардов, что снижает вычислительные затраты на прямой проход по сравнению с плотной моделью аналогичного масштаба. Модель поддерживает контекстное окно в один миллион токенов. Такой размер позволяет удерживать в памяти содержимое книг объёмом более тысячи страниц или серии длинных отчётов, что открывает возможности для глубокого анализа документов и многоходовых диалогов.
KDA заменяет классическое квадратичное внимание на линейный механизм с дельта-обновлениями скрытого состояния. Это уменьшает сложность обработки длинных последовательностей до O(L) и делает реальной инференс миллиона токенов на серийных ускорителях. MoonEP решает проблему дисбаланса загрузки экспертов при распределённом обучении: алгоритм динамически перенаправляет токены к менее загруженным экспертам и минимизирует обмен данными между узлами. FlashKDA оптимизирует вычисление линейного внимания в режиме быстрого вывода, а AgentEnv представляет собой среду для дообучения модели в интерактивных сценариях использования инструментов и API, что приближает её поведение к агентным системам.
Согласно открытой документации, Kimi K3 обучалась на корпусе из 15 триллионов токенов, который включал веб-тексты, книги, код и научные публикации. Тренировочный кластер насчитывал 10 тысяч графических ускорителей NVIDIA H800, процесс занял около двух месяцев. Модель демонстрирует высокие результаты на тестах MMLU, MATH, HumanEval и GSM8K, сопоставимые с показателями ведущих закрытых и открытых аналогов. В задаче Needle-in-a-Haystack с контекстом 1 миллион токенов система полностью извлекает целевой фрагмент, что подтверждает практическую работоспособность заявленного окна.
Для сравнения, открытая модель DeepSeek-V3 (671 миллиард параметров, 37 миллиардов активных) использует MoE-архитектуру и контекстное окно 128 тысяч токенов. Mixtral 8x22B от Mistral AI содержит 141 миллиард параметров при 39 миллиардах активных. На фоне этих систем Kimi K3 выделяется не только масштабом, но и публикацией обучающих инструментов, которые позволяют сообществу воспроизводить эксперименты.
Исходный код и веса Kimi K3 распространяются под лицензией Apache 2.0 с правом коммерческого использования. Moonshot AI создали в 2023 году выходцы из DAMO Academy Alibaba. Стартап привлёк инвестиции Alibaba Group и Tencent, ранее выпустил модель Kimi 2 с контекстом 200 тысяч токенов. Новая публикация продолжает открытый курс компании.
