深度学习推理

借助用于预训练模型的内置模型优化器和用于特定硬件加速的推理引擎运行时,跨英特尔® 平台加速和部署神经网络模型。

英特尔® Deep Learning Deployment 工具套件

该工具套件允许开发人员通过与应用程序逻辑集成的高级 C++ 或 Python* 推理引擎 API 部署预训练的深度学习模型。它支持多个英特尔® 平台,并包含在英特尔® Distribution of OpenVINO™ toolkit 中。

如何工作

具有深度学习的典型计算机视觉管道可能包含常规视觉功能(例如图像预处理)和卷积神经网络 (CNN)。CNN 图形在 FPGA 附加卡或英特尔 Movidius 神经电脑棒 (NCS) 上得到加速,而其余视觉管道则在主机处理器上运行。 

推理引擎开发人员指南

英特尔® FPGA 支持

英特尔 Movidius 神经电脑棒快速入门指南

英特尔® 神经电脑棒 2 快速入门指南

深度学习工作台
这种基于 Web 的图形环境使用户可以在各种英特尔® 架构配置 (CPU, GPU, VPU) 上可视化深度学习模型和数据集的性能模拟。它为选定的神经网络的每一层提供关键的性能指标,例如延迟、吞吐量和性能计数器。该工具包括用于许多推理实验的简单配置,以检测最佳性能设置。 

  • 运行单一推理和多个推理的对比。 
  • 进行校准以将某些模型层的精度从 FP32 降低到 Int8。
  • 使用 Winograd 算法调谐器,根据卷积层参数和硬件配置自动确定优化算法。
  • 在已知数据集上进行实验,并在使用精度检查器进行参数调整或校准后确定模型的精度。

深度学习工作台开发人员指南

探索功能

传统计算机视觉

开发和优化使用 OpenCV 库和其他行业工具构建的经典计算机视觉应用程序。

硬件加速

充分利用采用英特尔® 技术的加速器的性能:CPU、iGPU、FPGA、VPU、英特尔® Gaussian & Neural Accelerator 以及 IPU。

产品和性能信息

1

英特尔的编译器针对非英特尔微处理器的优化程度可能与英特尔微处理器相同(或不同)。这些优化包括 SSE2、SSE3 和 SSSE3 指令集和其他优化。对于在非英特尔制造的微处理器上进行的优化,英特尔不对相应的可用性、功能或有效性提供担保。该产品中依赖于微处理器的优化仅适用于英特尔微处理器。某些非特定于英特尔微架构的优化保留用于英特尔微处理器。关于此通知涵盖的特定指令集的更多信息,请参阅适用产品的用户指南和参考指南。

通知版本 #20110804