1 год назад 23 марта 2023 в 13:36 9029

У NVIDIA есть новый вариант графического процессора Hopper, разработанный исключительно для больших языковых моделей (LLM), таких как ChatGPT. Напомним, что ChatGPT обучался с использованием кластера, состоящего из 10 тыс. карт H100.

H100 NVL представляет собой улучшенную модель в линейке NVIDIA Hopper. Технически это вариант ускорителя центра обработки данных H100, разработанный специально для одной цели – повысить возможности языковых моделей ИИ, таких как ChatGPT. NVL означает «NVLink Bridge», который используется в этой конфигурации на графическом процессоре H100. H100 NVL – это не один графический процессор, а вариант с двумя графическими процессорами, состоящий из двух карт PCIe, соединенных друг с другом через три моста NVLink Gen4.

Но у варианта NVL есть еще одно преимущество перед существующими графическими процессорами H100 – объем памяти. Этот графический процессор использует все шесть стеков памяти HBM3 (High Bandwidth Memory нового поколения; выпускается с июня 2022 года), предлагая в общей сложности 188 ГБ высокоскоростного буфера.

H100 NVL имеет полный 6144-битный интерфейс памяти (1024-битный для каждого стека HBM3) и скорость памяти до 5,1 Гбит/с. Максимальная пропускная способность составляет 7,8 ГБ/с, что более чем в два раза выше, чем у H100 SXM. Предполагается, что графический процессор H100 NVL будет запущен во второй половине этого года.

Никто не прокомментировал материал. Есть мысли?