Стремительное развитие генеративного искусственного интеллекта и больших языковых моделей (LLM) в ближайшие годы станет решающим фактором при оценке производительности центральных процессоров (CPU) и графических процессоров (GPU). Недавно компания Intel подробно рассказала о возможностях своей графической линейки Arc, особо отметив производительность LLM флагманской видеокарты Intel Arc A770 16GB для настольных компьютеров.
Intel Arc A770 16GB, цена которой составляет около 300 долларов, сравнивается с основной видеокартой NVIDIA GeForce RTX 4060 8GB, которая считается ее ближайшим ценовым конкурентом на рынке. Тесты Intel были сосредоточены на различных моделях, работающих с IPEX-LLM, библиотекой LLM для PyTorch, которая включает оптимизации для аппаратного обеспечения Intel и использует ускорение XMX AI, присутствующее на видеокартах Arc, для повышения производительности. На стороне NVIDIA использовался CUDA Torch.
Результаты показывают, что при сжатии веса INT4, выполнении FP16 и максимальном выходе 1024 токенов Intel Arc A770 16GB превосходит GeForce RTX 4060 8GB по производительности токенов в секунду. Разрыв в производительности может достигать 70% в пользу Intel Arc A770. В тестировании также участвовала последняя модель Llama3 от Meta, которую поддерживают все аппаратные средства Intel AI.
Одним из ключевых факторов, влияющих на разницу в производительности, является зависимость многих моделей ИИ от объема и скорости памяти GPU. Более быстрый Intel Arc A770 с 16 ГБ VRAM лучше подходит для ИИ-нагрузок по сравнению с более медленными 8 ГБ VRAM на GeForce RTX 4060. Хотя оптимизация и другие факторы могут объяснить некоторые расхождения в производительности, CUDA от NVIDIA по-прежнему считается стандартом в индустрии.
Тем не менее, это впечатляющее достижение Intel, поскольку Intel Arc A770 16GB является одним из самых доступных 16-гигабайтных GPU на рынке. Достижения Intel в области производительности ИИ делают Arc A770 привлекательным вариантом для тех, кто ищет мощное и экономически эффективное решение для приложений, основанных на ИИ.
