Китайское издание ITHome сообщило о внутренней реорганизации исследовательского подразделения Seed компании ByteDance, которое разрабатывает фундаментальные модели искусственного интеллекта. Согласно источникам, в структуре Seed созданы четыре новых департамента первого уровня: Pretrain Data, Horizon RL, Product Posttrain-Work и Product Posttrain-Chat. Цель изменений — устранение дублирования функций, стирание границ между мультимодальными и посттренировочными командами, а также подготовка технологической платформы для обучения сверхбольшой модели с количеством параметров свыше 5 триллионов.
Команда Seed была основана ByteDance в начале 2023 года под руководством Чжу Вэньцзя. За два года она выпустила семейство больших языковых моделей Doubao, которые легли в основу одноименного чат-бота, а также мультимодальные системы для генерации изображений и видео (в том числе Jimeng). По данным аналитических сервисов, ежемесячная аудитория Doubao в Китае превышает 100 млн пользователей. До настоящего момента внутренняя организация Seed предполагала разделение на направления по модальностям (текст, изображение, видео) и этапам обучения (предобучение, файнтюнинг). Новая структура, как поясняют источники, вводит сквозную ответственность за данные и постобработку.
Департамент Pretrain Data сосредоточится на сборе, очистке и аннотировании массивов данных для предварительного обучения. Horizon RL займется методами обучения с подкреплением (reinforcement learning) — это направление приобрело особую актуальность после появления моделей с развитыми способностями к рассуждению, таких как OpenAI o1. Product Posttrain-Work и Product Posttrain-Chat будут отвечать за адаптацию базовых моделей под корпоративные сценарии и под пользовательский чат-интерфейс соответственно. Такое разделение отражает стремление ByteDance одновременно развивать B2B-продукты и потребительские сервисы.
План по созданию модели с 5 трлн параметров, о котором ранее сообщали 36Kr и South China Morning Post, выводит ByteDance на передовую гонки сверхбольших ИИ-систем. Для сравнения: по неофициальным данным, GPT-4 содержит порядка 1,8 трлн параметров, Gemini Ultra — около 1,6 трлн, а модель WuDao 2.0 от Пекинской академии ИИ — 1,75 трлн. Модели с 5 трлн параметров пока не представлены ни одной компанией, а их обучение требует качественно новых подходов к распределенным вычислениям и управлению памятью. По информации The Information, в 2025 году ByteDance планирует направить до 7 млрд долларов на закупку ускорителей NVIDIA H100 и B200, а также развивает собственный чип для инференса. Ожидается, что кластер для обучения 5-триллионной модели может задействовать десятки тысяч GPU.
Эксперты отмечают, что реорганизация Seed синхронизирована с общим трендом индустрии: компании переходят от экспериментов с размером моделей к выстраиванию полного цикла «данные — предобучение — посттренинг — продукт». Аналогичные структурные изменения ранее провели OpenAI и Google DeepMind. В ByteDance отказ от изолированных мультимодальных команд в пользу единой вертикали должен ускорить итерацию и улучшить совместимость компонентов. Конкретные сроки выпуска модели с 5 трлн параметров не называются, однако источники указывают, что новая оргструктура заработает в ближайшие месяцы.
