Квантование моделей для производства с помощью

Intel® Deep Learning Boost


Обработка данных с целочисленным 8-битным квантованием (INT8) может повысить производительность вашей модели глубинного обучения на производстве.

Квантование моделей

Большинство моделей глубинного обучения создаются с использованием 32-битной точности с плавающей запятой (FP32). Квантование - это процесс представления модели с использованием меньшего количества памяти и с минимальной потерей точности. В этом контексте основное внимание уделяется представлению данных в виде значений с точностью INT8.

Область рендеринга


Что такое Intel® Deep Learning Boost (Intel® DL Boost)?

Второе поколение масштабируемых процессоров Intel® Xeon® представило набор функций для глубинного обучения, которые включены в состав Intel® Deep Learning Boost. Эти функции включают команды VNNI (Vector Neural Network Instructions), которые повышают пропускную способность приложений обработки данных для поддержки вычислений INT8 посредством объединения нескольких компьютерных команд предыдущих поколений в одну машинную команду.

Подробнее

Первые результаты обработки MLPerf

Техническое описание VNNI

Инфраструктуры и инструменты

Следующие инфраструктуры и инструментальные средства имеют поддержку Intel DL Boost на платформах на базе второго поколения масштабируемых процессоров Intel® Xeon®.


Примеры использования клиентами