13.09.23 12:30
В своем дебюте на промышленных тестах MLPerf, суперчип NVIDIA GH200 Grace Hopper не только прошел все испытания на инференцию в дата-центрах, но и усилил лидирующую позицию GPU NVIDIA H100 Tensor Core. Об этом пишет Securitylab.
GH200 сочетает в себе GPU Hopper и CPU Grace в одном суперчипе. Такое сочетание обеспечивает больше памяти, пропускной способности и возможность автоматически перераспределять мощность между центральным и графическим процессорами для оптимизации производительности.
Отдельно стоит отметить, что системы NVIDIA HGX H100 с восемью GPU H100 показали наивысший результат по пропускной способности в каждом тесте MLPerf Inference.
Grace Hopper Superchips и H100 GPUs лидировали во всех тестах дата-центров MLPerf, включая инференс-задачи для компьютерного зрения, распознавания речи и медицинской визуализации, а также в более требовательных задачах, таких как системы рекомендаций и большие языковые модели (LLM), используемые в генеративном ИИ.
TensorRT-LLM ускоряет инференцию
Для обработки сложных задач любого размера NVIDIA разработала TensorRT-LLM , программное обеспечение для генеративного ИИ, оптимизирующее инференцию. Эта открытая библиотека позволяет клиентам удваивать производительность инференции на уже приобретенных GPU H100 без дополнительных затрат.
Внутренние тесты NVIDIA показали, что использование TensorRT-LLM на GPU H100 обеспечивает увеличение производительности до 8 раз по сравнению с предыдущим поколением GPU, работающим на GPT-J 6B без TensorRT-LLM.
Кроме того, в последних тестах MLPerf графические процессоры NVIDIA L4 успешно справились со всем спектром задач и показали отличную производительность.
Также NVIDIA применила новую технологию сжатия моделей, чтобы продемонстрировать увеличение производительности до 4,7 раз при работе с BERT LLM на GPU L4.
Тесты MLPerf являются прозрачными и объективными, что позволяет пользователям принимать обоснованные решения о покупке. В этом раунде участвовали такие партнеры, как Microsoft Azure, Oracle Cloud Infrastructure и производители систем ASUS, Dell Technologies, Fujitsu и другие. Все программное обеспечение, используемое в тестах NVIDIA, доступно в репозитории MLPerf, что позволяет каждому достичь мирового класса результатов.
