Компания Seagate разрабатывает решения на базе технологии NVMe для жестких дисков большой емкости, что связано с растущими потребностями в хранении данных для систем и приложений искусственного интеллекта. Существующие системы хранения данных испытывают трудности с обработкой огромных массивов информации, необходимых для машинного обучения, достигающих петабайтных и даже эксабайтных размеров.
Текущие варианты хранения данных имеют серьезные недостатки для задач ИИ. SSD-системы предлагают необходимую скорость, но не являются рентабельными для хранения больших объемов данных для обучения ИИ. В то же время, жесткие диски с интерфейсами SAS/SATA предлагают более низкую стоимость, однако их архитектура с использованием специализированных контроллеров и адаптеров шины хоста не справляется с высокой пропускной способностью и низкой задержкой, требуемыми приложениями ИИ.
Для решения этой проблемы Seagate предлагает использовать технологию NVMe в жестких дисках большой емкости. Это позволяет сохранить преимущества жестких дисков по стоимости и плотности хранения, одновременно повышая производительность для ИИ-приложений. Жесткие диски на базе NVMe не требуют специальных контроллеров, протокольных преобразователей и дополнительной SAS-инфраструктуры, что обеспечивает плавную масштабируемость за счет интеграции высокоплотного хранения на жестких дисках с высокоскоростным SSD-кэшированием в единой архитектуре NVMe.
Кроме того, NVMe-накопители предлагают ряд других преимуществ. Они просты в настройке без специальных контроллеров и могут совместно использоваться с SSD с применением единого драйвера NVMe и стека ОС. Еще одно преимущество — поддержка прямой передачи данных с GPU на хранилище с использованием блоков обработки данных (DPU), что позволяет избежать узких мест на уровне ЦП.
Для проверки этой технологии Seagate провела тестирование, интегрируя NVMe-накопители, NVMe SSD, NVIDIA BlueField DPU и программное обеспечение AIStore. Результаты показали снижение задержек, связанных с хранением данных, упрощение инфраструктуры, улучшение кэширования и масштабируемость хранилища.
Seagate также отмечает, что NVMe-накопители имеют и экологические преимущества: они потребляют в 10 раз меньше электроэнергии и производят в 4 раза меньше CO2-эквивалента по сравнению с SSD. Кроме того, они обеспечивают более низкую стоимость за терабайт.
