Процессоры Instinct MI355X от AMD в ходе тестового раунда MLPerf Inference 6.0 на многокластерной конфигурации преодолели рубеж пропускной способности в 1 миллион токенов за секунду. Эталонные испытания включали в себя не только традиционные языковые модели, но и новые для компании рабочие нагрузки, такие как генерация видео по тексту. Подобный результат демонстрирует пригодность платформы для промышленного развертывания сервисов искусственного интеллекта на крупных кластерах.
Ускоритель MI355X построен на архитектуре CDNA 4 по техпроцессу 3 нанометра и насчитывает 185 миллиардов транзисторов. Новинка получила поддержку типов данных с низкой точностью FP4 и FP6, что позволяет достичь пиковой производительности до 10,1 петафлопс при операциях с матрицами. Объём встроенной памяти HBM3E составляет 288 гигабайт при пропускной способности 8 терабайт в секунду, чего достаточно для размещения моделей размером до 520 миллиардов параметров на одном чипе.
В однокластерной конфигурации на эталонном тесте Llama 2 70B в режиме Server устройство показало результат 100 282 токена в секунду. Это превосходит показатель предыдущего поколения MI325X в 3,1 раза. Сравнение с конкурентами демонстрирует паритет: против NVIDIA B200 платформа AMD показала 97% производительности в режиме Server и 119% в интерактивном тесте, а против B300 достигла 93% и 104% соответственно.
Тестирование впервые включило модель GPT-OSS-120B, где MI355X на одном узле обошел B200 на 11% в режиме Offline и на 15% в Server. В области генерации видео по тексту Wan-2.2-t2v новый ускоритель достиг 93% производительности B200 в однопоточном режиме, а после дополнительной настройки показатели выросли до 108%. Масштабирование на кластере из 11 узлов с 87 графическими процессорами обеспечило эффективность расширения 93% для пакетной обработки и 98% для интерактивных сценариев.
Экосистема AMD продемонстрировала воспроизводимость результатов: девять партнеров, включая Cisco, Dell, HPE и Oracle, представили собственные тесты, показавшие расхождение с официальными данными не более 4%. Впервые был осуществлен гетерогенный прогон с использованием разных типов ускорителей Instinct (MI300X, MI325X и MI355X), расположенных в США и Южной Корее. Энергопотребление флагманской модели достигает 1400 Вт при типовой нагрузке, а охлаждение может быть как пассивным, так и активным.
