英特尔® Distribution of OpenVINO™ 工具套件 2020 版的发布说明

签署人: Andrey Zaytsev

已发布:02/05/2020   最后更新时间:04/11/2020

注意 2019 版的发布说明,请参阅英特尔® Distribution of OpenVINO™ 工具套件 2019 版的发布说明。 

简介

英特尔® Distribution of OpenVINO™ 工具套件是一套用于快速开发可仿真人类视觉的应用程序和解决方案的工具套件。该工具套件基于复杂神经网络 (CNN),通过英特尔® 硬件扩展了计算机视觉 (CV) 工作负载,从而使性能最大化。它通过从边缘到云部署的高性能、人工智能和深度学习推理来为应用程序加速。

英特尔 Distribution of OpenVINO 工具套件:

  • 支持从边缘到云的深度学习推理。
  • 支持跨英特尔加速器的异构执行,采用了通用 API,适用于英特尔 ® CPU、英特尔® 集成显卡、英特尔® Gaussian & Neural Accelerator(英特尔® GNA)、英特尔® Movidius™ 神经电脑棒 (NCS)、英特尔® 神经电脑棒 2(英特尔® NCS2)、使用了英特尔® Movidius™ 视觉处理器 (VPU) 的英特尔® Vision Accelerator Design、使用了英特尔® Arria® 10 FPGA Speed Grade 2 的英特尔® Vision Accelerator Design。
  • 通过一套易用的计算机视觉功能库和预优化内核库来加速上市时间。
  • 包括针对 CV 标准进行的优化,包括 OpenCV 和 OpenCL™。

第 4 版中的更新和更改

要点综述

  • 通过使用第三代智能英特尔® 至强® 可扩展处理器(以前称为代码 Cooper Lake),引入了对 Bfloat16 数据类型推理的支持,从而在保持接近全精度的准确率(例如,FP32 数据类型)的同时,还提高了性能。
  • 通过扩展训练后优化工具来支持混合精度量化,从而提高了各层间有不同比宽时的精度。
  • 通过支持直接读取开放神经网络交换 (ONNX*) 模型格式至推理引擎,增加了对模型的兼容性。
    • 对于希望充分利用英特尔® Distribution of OpenVINO™ 工具套件的用户,建议遵循原生工作流程,即使用模型优化器中的中间表示文件作为推理引擎的输入。
    • 对于希望更轻松地获得 ONNX 模型格式的转换模型(例如,使用 torch.onnx 将 PyTorch 转换至 ONNX)的用户,现在他们能够将 ONNNX 格式直接输入推理引擎,从而在英特尔架构上运行模型。
  • 启用对 TensorFlow* 2.2.0 用于计算机视觉用例的初始支持。
  • 用户可以连接多个远程主机并对其进行配置;通过使用远程配置能力来扩展深度学习工作台,可以在一个地方收集存储数据用于进一步的分析。

与 v.2020 第 3 版本相比,向后不兼容的更改

  • 废弃 API 列表API 变更
  • IRv7 已被废弃,下一主要版本 (v.2021.1) 中将移除对该版本的支持。这意味着 IRv7 和更老的版本无法使用 Core:ReadNetwork 读取。建议用户迁移到 IRv10,以防止下一版中的兼容问题。
  • 推理引擎 NNBuilder API 已被移除。建议用户使用 nGraph 作为替代品,从 C++ 代码创建 CNN 图形。
  • 下一版本 (v.2021.1) 中将移除以下推理引擎的公共 API:
    • InferencePlugin、IInferencePlugin 和 InferencEnginePluginPtr 类。应该使用 Core 类作为替代品。
    • PluginDispatcher 类。应该使用 Core 类作为替代品。
    • CNNNNetReader 类。应该使用 Core::ReadNetwork 类作为替代品。
    • PrimitiveInfo、TensorInfo 和 ExecutableNetwork::GetMappedTopology。使用 ExpliceNetwork::GetExecGraphInfo 作为替代品。
    • ICNNNetworkStats、NetworkNodeStats、CNNNetwork::getStats 和 CNNNetwork::setStat。使用采用了 FankeQuantze 方法的 IRv10 作为 int8 流的替代品。
    • IShapeInferExtension 和 CNNNetwork::addExtension。将 IExtension 系列用作 nGraph::Nodes 的容器,供其实施形状推理。
    • 来自推理引擎 Python API 的 IEPlugin。使用 Core API 作为替代。
    • Data::getCreatorLayer、Data::getInputTo 和 CNNLayer。使用 CNNNetwork:getFunction 来使图形发生迭代。

模型优化器

模型优化器

常见的变更

  • 修复了模型优化器错误,可使用命令行参数"--keep_shape_ops"来生成许多模型的可重塑 IR。
  • 修复了模型优化器转化,可将 IR 中的操作名称设置成与原始框架模型的操作名称相一致。
  • 执行了优化转型,将使用 TanH 操作的子图替换为 GeLU 操作。

ONNX*

  • 增加了对以下操作的支持:
    • Clip-11
    • CumSum-11
    • NonZero-9
    • Pad-11
    • ReduceL2-11
    • ReverseSequence-10
    • ROIAlign-10
    • Scatter-11
    • ScatterElements-11
    • Softplus-1
    • TopK-10
    • MuquzeLine-10/DeqantizeLine-10 对,当它可以用 FakeQuantize 操作替代时
    • Where-9

TensorFlow*

  • 引入了对 TensorFlow* 2.X 模型的初步支持,特别是对于CNN(或计算机视觉用例)。 RNN 和嵌入式层尚未得到支持。
  • 增加了对以下操作的支持:
    • IdentityN
    • NoOp
    • Where

MXNet*

  • 增加了对以下操作的支持:
    • CumSum

Kaldi*

  • 增加了对以下操作的支持:
    • fixedbiascomponent
    • fixedscalecomponent

推理引擎

推理引擎

常见变更

  • 主要 CPU 预处理管道现已针对 AVX2 和 AVX512 进行了完全优化。 以前,仅提供基于 SSE4.2 的优化。
  • Core::ReadNetwork 方法已重新实施,以使用在运行时动态加载的读取插件:
    • 执行了 inference_engine_onnx_reader 插件,以读取原生 ONNXX 模型。此插件依靠 ONNX 载入器,并使用它来读取 ONNX 模型。
    • 执行了 inference_engine_ir_reader 插件来读取 IR。

推理引擎 Python API

推理引擎 Python API

  • 无变化。

推理引擎 C API 

推理引擎 C API 

  • 添加了 ie_core_read_network_from_memory,以确保加密读数。

CPU 插件

CPU 插件

  • 引入了对 bfloat16 (BF16) 数据类型的支持用于推理。 此功能提高了性能,同时与 FP32 模型相比,对于支持原生 BF16 的目标保持了相同的精确度(例如,第三代智能英特尔® 至强® 可扩展处理器,以前的代号为 Cooper Lake)
  • 从 opset3 中执行了若干操作: 
    • Bucketize-3
    • CumSum-3
    • EmbeddingBagOffsetsSum-3
    • EmbeddingBagPackedSum-3
    • EmbeddingSegmentsSum-3
    • ExtractImagePatches-3
  • Select、DepthToSpace、SpaceToDepth 等操作均已经过更新,以符合最新的 opset。
  • 适用于流行用例的 INT8 推理性能增强:NLP (BERT)、超分辨率、人体检测和姿态估算。

GPU 插件

GPU 插件

  • 支持以下几项新操作:
    • CumSum-3
    • EmbeddingBagOffsetsSum-3
    • EmbeddingBagPackedSum-3
    • EmbeddingSegmentsSum-3
    • BatchToSpace
  • 对以下操作的分解已被禁用,现在可以直接对它们进行支持了:
    • ShuffleChanner
    • DepthToSpace

MYRIAD 插件

MYRIAD 插件

  • 产品变更通知:英特尔® Distribution of OpenVINO™ 工具套件
    变更通知开始 2020 年 7 月
    变更日期 2020 年 10 月
    为了在英特尔® 神经电脑棒 2 和采用英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design 上支持定制 OpenCL 层,人工 dma 扩展将会被移除,以自动 dma 取代。
  • 对英特尔® Movidius™ 神经电脑棒的支持已停止。
  • 3 LTS 是支持 Myriad-2 硬件的最后一款。
  • 支持新的操作:
    • NonZero
    • ScatterElementsUpdate
    • 广播
    • 在许多算法操作中增加了对 I32 数据类型的支持
  • 改善了现有操作的性能:
    • LSTMCell
    • LSTMSequence
    • Gather
    • TopK
    • OneHot

HDDL 插件

HDDL 插件

  • 与 MYRIAD 插件中相同的新操作和优化。

GNA 插件

GNA 插件

  • GNA 库已更新为 v2:
    • 对层数量的限制已放宽
    • 现在可以同时在 GNA 设备上创建几个网络
    • 在 Linux 上消除了对英特尔® C++ 编译器运行的依赖
    由于对库进行了更新,GNA 驱动程序应更新为与 GNA v2 兼容的版本:
    • 在 Windows 上:可通过 Windows Update 进行更新
    • 在 Ubuntu上:请参阅关于 GNA 插件的文档中的链接
  • 扩展了对逆变层的支持:
    • 不需要内存重新排序(“简单逆变”)的层的所有变量现在都已支持
    • 当重新排序的尺寸中至少有一个 <=8 时,现在已支持复杂的逆变
  • 增加了对大量新的层组合的支持
  • C++ 性能指标评测应用程序中的特定 GNA 参数的支持
  • 支持动态转换执行模式(软件和硬件对比)
  • 相较之前的 10 个,现在已支持多达 100 个输入层
  • 内存优化

FPGA 插件

FPGA 插件

产品变更通知
适用于搭载英特尔® Arria® 10 FPGA 的英特尔® Vision Accelerator Design 和搭载英特尔® Arria® 10 GX FPGA 的英特尔® Programmable Acceleration Card 的英特尔® Distribution of OpenVINO™ 工具套件

变更通知开始 2020 年 7 月
变更日期 2020 年 10 月


英特尔将过渡到基于 FPGA 的下一代可编程深度学习解决方案,以提高 FPGA 深度学习中的定制化水平。作为这一转变的一部分,未来的英特尔® Distribution of OpenVINO™ 工具套件的标准版本(非 LTS 版)将不再包含搭载英特尔® Arria® 10 FPGA 的英特尔® Vision Accelerator Design 和搭载 Arria® 10 GX FPGA 的英特尔® Programmable Acceleration Card。
英特尔® Distribution of OpenVINO™ 工具套件 2020.3.X LTS 版将继续支持搭载英特尔® Arria® 10 FPGA 的英特尔® Vision Accelerator Design 和搭载英特尔® Arria® 10 GX FPGA 的英特尔® Programmable Acceleration Card。有关基于 FPGA 的下一代可编程深度学习解决方案的问题,请与您的销售代表联系或联系我们来获取最新的 FPGA 更新。

nGraph

  • 将 nGraph 源代码移至 OpenVINO™ 工具套件的存储库中。
  • 移除了推理引擎转化库对推理引擎的依赖。现在库仅依赖于 nGraph。
  • 将 ONNX 载入器与 nGraph 分离,现在它是一个独立的动态库,依赖于 nGraph 库。
  • 引入了 opset3。新的 opset 包含以下新的操作(并非所有 OpenVINO™ 工具套件插件都支持新操作):
    • Assign-3
    • Broadcast-3
    • Bucketize-3
    • CumSum-3
    • EmbeddingBagOffsetsSum-3
    • EmbeddingBagPackedSum-3
    • EmbeddingSegmentsSum-3
    • ExtractImagePatches-3
    • GRUCell-3
    • NonMaximumSuppression-3
    • NonZero-3
    • ReadValue-3
    • RNNCell-3
    • ROIAlign-3
    • ScatterElementsUpdate-3
    • ScatterUpdate-3
    • ShapeOf-3
    • ShuffleChannels-3
    • TopK-3

神经网络压缩框架 (NNCF)

  • 适用于 PyTorch 的 NNCF 在 OpenOpenVINO™ 工具套件库中已完全开源
  • 适用于 PyTorch 的 NNCF v1.3.1 已发布:
    • 自动混合 (INT4+IN8) 精度量化(HAWQ-驱动)已发布。提供了两种模型来评估性能收益,以下是压缩模型的精度指标:

      模型

      压缩

      Acc1@Imagenet
      (FP32/压缩)

      MobileNet V2

      46.6% INT8
      53.4% INT4

      71.81%/70.89%

      ResNet-50

      44.8% INT8
      55.2% INT4

      76.13%/76.30%

    • 执行并集成 NNCF 软过滤修剪和几何中值修剪算法。在某些情况下,由于保留了 1% 的精度下降,所以无法达到所请求的修剪率 (PR)。但是性能(对 CPU 的推理)总是与达到的修剪率相近。

      模型名称

      所请求的 PR

      实际 PR

      MACs

      FPS

      resnet18

      30%

      15.8%

      -16.9%

      +18.4%

      resnet34

      30%

      21.7%

      -22.1%

      +25.1%

      resnet50

      30%

      28.3%

      -30%

      +33.1%

      googlenet

      30%

      36.4%

      -41.9%

      +23%

    • 该工具中添加了对硬件配置文件的支持,以便对特定硬件目标进行量化参数调整。配置文件的 API 和格式与训练后优化工具中的很接近,只是用了 NNCF 具体情况对它们进行了扩展。
    • 发布支持标准 ONNX opset INT8 导出,以及最新的 PyTorch、TorchVision 和 CUDA 运行版本。除此之外,还启用了对 Docker 的支持和仅适用于 CPU 的训练设置。
  •  NNCF 已被用于量化和微调基于转换器的家族(BERT-large 和 DistilBert)中的一些模型。INT8 模型都具有 <1% 的精度下降,并使用对称量化,这应该能很好的符合 CPU 性能方面的要求:

    模型

    数据集

    精度 (FP32/INT8)

    备注

    BERT-large(无外壳,WWM)

    SQuAD v1.1

    93.26%/92.60% (F1)

    完全对称量化 
    发行到 OMZ
    1.5x perf 增益 vs CPU 上的 FP32
     

    BERT-large (无外壳)

    SQuAD v1.1

    90.87%/90.41% (F1)

    完全对称量化
    MLPerf 提交的模型基准
    与 Nvidia INT8 对称的质量指标

    DistilBERT(无外壳)

    Yelp (SST-2-类)

    95.50%/95.14% 

    完全对称量化
    面向客户的 POC (Roblox)

    DistilBERT (无外壳)

     

    SST-2

    91.10%/90.30%

    完全对称量化

训练后优化工具

训练后优化工具

  • 级联模型添加了对量化的支持(默认,精度意识)。量化路径需要通过精度检查器 (AC) 配置来进行支持和模型配置:
    • MTCNN:粗略检测器 (MTCNN-p) 至检测器/精确 (MTCNN-r) 至检测器/输出 (MTCNN-o)
    • 行动识别:编码器(分类支柱,16 帧)至解码器(基于多头自注意力)
    • 文本识别:检测+分割+嵌入(mask-RCNN-类)至编码器(嵌入的 Conv net)至解码器 (GRU + 注意力)
  • 引入了混合量化,例如,用于重量的对称量化和用于激活的不对称量化,它可以用作默认和精度意识算法的量化方案,从而获得更高的精度。共有 8 个模型使用了此方案进行量化,默认量化方案仍然是对称的。
  • 提升了无注释量化的功能
  • 增强了整体的可用性,这使用户可以通过使用 API 将量化工作流程和模型验证管线相结合,从而对模型进行量化
  • 增添了训练后优化最佳实践低精度优化指南的新文档
  • 正在量化的层列表已扩展至可支持 NormalizeL2。这为 SSD、人体-检测-动作-识别等模型带来了性能优势(请参阅下面的 S-曲线图,IN8 2020.4 对比 2020.2 在 CLX 上的表现)。

 

深度学习工作台

深度学习工作台

  • 通过 SSH 协议增加了对在远程主机和目标上进行配置的支持
  • 增加了对语义和实例分割模型的支持 
  • 增加了一些可用性方面的改进,包括改进了组推理配置,改进了历史可视化以及改进了系统业务指示的清晰度

OpenCV*

  • SIFT 算法在专利到期后已从 opencv_contrib 存储库中移除
  • 在 OpenVINO 构建中为 GussianBlur 启用了平行 IPP 加速

示例和教程

  • 用于演示语音识别管线的语音库和端到端演示现已包含在 CentOS 分发中。

Open Model Zoo

  • 借助额外的 CNN-预训练模型和预生成的中间表示文件 (.xml + .bin) 对 Open Model Zoo 进行了扩展:
    • [新] bert-small-uncased-whole-word-masking-squad-0001
    • [新] bert-large-uncased-whole-word-masking-squad-fp32-0001
    • [新] bert-large-uncased-whole-word-masking-squad-int8-0001
    • [新] person-detection-0100
    • [新] person-detection-0101
    • [新] person-detection-0102
    • [新] person-detection-0106
    • [新] person-reidentification-retail-0265
    • [新] yolo-v2-tiny-vehicle-detection-0001
    • [新] vehicle-attributes-recognition-barrier-0042
    • [新] weld-porosity-detection-0001
    • person-reidentification-retail-0267 - 替代了 person-reidentification-retail-0249 模型。
    • person-reidentification-retail-0270 - 替代了 person-reidentification-retail-0300 模型。
  • 移除的模型:
    • person-reidentification-retail-0031
    • face-reidentification-retail-0095 - 已暂时移除
  • 对以下模型的支持扩展了公有模型列表:
    模型名称 框架

    faceboxes-pytorch

    PyTorch
    fast-neural-style-mosaic-onnx PyTorch
    googlenet-v2-tf TensorFlow
    hbonet-1.0 PyTorch
    hbonet-0.5 PyTorch
    hbonet-0.25 PyTorch
    mobilefacedet-v1-mxnet MXNet
    mobilenet-v3-large-1.0-224-tf TensorFlow
    mobilenet-v3-small-1.0-224-tf TensorFlow
    open-closed-eye-0001 Caffe2
    pelee-coco Caffe
    resnet-34-pytorch PyTorch
    retinaface-anti-cov MXNet
    retinaface-resnet50 MXNet
    retinanet-tf TensorFlow
    ssd-resnet34-1200-onnx ONNX
    vehicle-reid-0001 Caffe2
  • 增加了新的演示应用程序:
    • Classification
    • Bert question answering
    • Object detection faceboxes
    • Object detection retinaface
    • Whiteboard inpainting
  • Open Model Zoo 工具
    • 恢复下载的功能,以应对用户没有稳定网络连接的问题,现已加入 Open Model Zoo 模型下载器工具中
    • 通过对在 COCO 和 Wider Face 数据集中训练的公共模型的支持扩展了量化脚本

深度学习流媒体播放器

  • 增加了对 RCNN、YoloV2 和 YooloV3-tiny 模型在 gvadetect 中进行后处理的支持
  • 提供了一个压缩视频帧附带的元数据表示文件的选项,以减少延迟
  • 为 gvametapublish 元素添加了新的样本。样本将元数据输出到文件(默认=stdout)、MQTT 或 Kafka
  • 向 pretty-print json 添加了一个规定了倾向的 gvametaconvert 新属性 `json-indent',以使语法更加容易识别
  • 以 Jupyter 笔记本格式增加了两项新的教程,以帮助开发人员使用英特尔® DevCloud for the Edge 在英特尔® 硬件上试用 DL Streamer:https://devcloud.intel.com/edge/davidanced/advanced_tutorials/ 
  • 在开源存储库中进行预览:用于音频事件检测的 GStreamer 元素 gvaaudiodetect 和相应的样本管线

有关 DL Streamer 的更多信息,请参阅 DL Streamer 教程、API 参考,以及 OpenVINO 推理引擎示例中的样本文档。有关预览功能,请访问 GTHub 上的 GStreamer 视频分析 (GVA) 插件存储库中的 DL Streamer 开源项目。

3 LTS 版发布中的更新和更改

要点综述

第 2 版发布中的更新和更改

要点综述

  • 引入了全新的深度学习 (DL) 流媒体播放器组件,该组件采用了 GStreamer* 多媒体框架。此组件能够在英特尔架构中从边缘到云创建和部署分析管线。
  • 包括英特尔® 线程构建模块(英特尔® TBB)库中内存泄漏问题的错误修复和稳定性修复。
  • 通过将新的层和错误修复添加到英特尔 Gaussian & Neural Accelerator(英特尔 GNA)插件中,从而提升了对噪声压缩用例的支持。
  • 增加了对全新的 FP32 和 INT8 模型的支持,以实现更多视觉和文本用例:
    • 原始模型:3D U-Net,Mobileface
    • 低精度(即:INT8)模型:EAT、OpenPose、RetinaNet 和 FaceNet
  • 在 Open Model Zoo 中引入新的预训练模型,以缩短生产时间,其中包括:
    • 用于人员身份再识别的多摄像头追踪
    • 用于人员检测的级联 R-CNN
  • 发布了新的性能指标

与 v.2020 第 1 版本相比,向后不兼容的更改

  • 废弃 API 列表API 变更
  • 推理引擎共享库的一部分已移动到推理引擎传统共享库中,里面包含中间表示文件 (IR) v7 所需要的过时常规操作。您应该将自定义应用程序与两个库全部链接,如果您使用 CMake* 接口,则此操作会自动完成。 

模型优化器

模型优化器

常见变更

  • 执行了适用于 INT8 推理的压缩式 OpenVINO IR 的生成,与扩展式相比,它所占的磁盘空间要比之小多达 4 倍。使用 --disabled_weights_compression 模型优化器命令行参数来获得扩展版本。
  • 执行了优化转型,将使用 Erf 操作的子图替换为 GeLU 操作。
  • 执行了优化转型,将一系列 Split-Concat 操作替换为 Interpolate 操作。
  • 修复了一些模型优化器错误,可使用命令行参数 "--keep_shape_ops" 来生成许多模型的可重塑 IR。
  • 修复了一些模型优化器转型,可将 IR 中的操作名称设置成与原始框架模型的操作名称相一致。

ONNX*

  • 如果在空间尺寸上执行了正常化,则增加了对 MeanVarianceNormalization 操作的支持。

TensorFlow*

  • 增加了对 TensorFlow* 对象检测模型的 1.15.X 的支持。
  • 增加了对以下操作的支持:
    • BatchToSpacpacingND
    • SpacpsToabitchND
    • Floor

MXNet*

  • 增加了对输入形状数值等于 -2、-3 和 -4 的重塑操作的支持。

推理引擎

推理引擎

常见变更

  • 对推理引擎扩展 API 进行了重构。新的 API 允许使用自定义的 nGraph 操作创建网络,并且可以加载自定义的 CPU 执行内核来用于定制的 nGraph 操作。
  • 增加了推理引擎转型库,其中包含将 opset2 操作转换为 opset1,以及将其 opset1 操作转换为传统操作集的 nGraph 转型。
  • 增加了包含低精度转型常规操作的推理引擎 LP 转型库。该库直接与插件相连接,并不依赖于推理引擎共享库。
  • 改善了对 CPU 预处理模块中的 AVX2 和 AVX512 指令集的支持。

推理引擎 C API 

推理引擎 C API 

  • 增加了对 I420、NV12 blobs 的支持,增加了专用的 hello_nv12_classifiction_c 样本。

CPU 插件

CPU 插件

  • 移除了对 mkltiny 的依赖性。这使得 CPU 推理所需的二进制分布尺寸得以显著降低。
  • 增加了几项新操作:
  • GeLU
  • Swish
  • BatchToSpace
  • SpaceToBatch
  • 继续对 INT8 管线进行优化,与 2020.1 版本的 140 拓扑相比,已获得了 1.2 倍的几何平均速度提升。
  • 显著改善了 INT8 模型的加载时间。

GPU 插件

GPU 插件

  • 增加了对以下新操作的支持:
    • Swish
    • VariadicSplit
    • Transpose
    • SpaceToDepth
    • ConvertLike
    • 选择
  • 增加了对原始 Resample 3D-空间尺寸的支持。
  • 修复了所有已知内存泄漏。
  • 为集群卷积、原始 topk 和批次大小小于 1 的模型执行了性能优化。
  • 对具有大量层数或重量体积的模型执行了小型的加载时间方面的改善。

MYRIAD 插件

MYRIAD 插件

  • 将 VPU 固件与英特尔® Movidius™ Myriad™ X Development Kit (MDK) R11 版本调为一致。
  • 增加了对集群卷积大小限制为 1 的 3D 卷积的支持。
  • 增加了对 3D 池化的支持。

HDDL 插件

HDDL 插件

  • 现已支持 Linux* 内核版本 5.3 (及以下)。
  • 由于兼容问题,不能将 ION 驱动程序安装在内核版本高于 5.0(包括)的 Ubuntu* 和 CentOS* 上,退回使用共享内存。

GNA 插件

GNA 插件

  • 增加了对以下层的支持:
    • Abs
    • Exp
    • Log
    • Sign
    • Softsign
    • Unsqueeze
  • 修复了一些层组合中的问题。
  • 修复了一些模型的导出和导入。
  • 修复了配置密钥验证中的问题。

FPGA 插件

FPGA 插件

  • 搭载英特尔® Arria 10 FPGA (Mustang-F100-A10) 速度等级 1 比特流的英特尔® Vision Accelerator Design 和搭载英特尔® Arria® 10 GX FPGA 的英特尔® Programmable Acceleration Card(英特尔® PAC)不包含在英特尔 Distribution of OpenVINO 工具套件 2020.2 版本中。
  • 如果您使用搭载英特尔® Arria 10 FPGA (Mustang-F100-A10) 速度等级 1 的英特尔® Vision Accelerator Design 和搭载英特尔® Arria® 10 GX FPGA 的英特尔® Programmable Acceleration Card(英特尔® PAC),我们建议继续使用英特尔® Distribution of OpenVINO 工具套件 2020.1 版本。

nGraph

  • 引入了 opset2。此 opset 包含了未包含在 opset1 里的以下操作:
    • BatchToSpace
    • GELU
    • MVN
    • ReorgYolo
    • ROIPooling
    • SpaceToBatch
  • 移除了 nGraph Python* API。
  • 启用了构建 nGraph ONNX 载入器低级别 API 作为 nGraph 共享库的一部分。这是一个预览功能,它无需运行模型优化器,就可以从运行中的 ONNX 模型直接创建 nGraph 功能。

训练后优化工具

训练后优化工具

  • 支持了更多模型:
    • 增加了 25% 的量化模型和执行模型(145 对比 116,Open Model Zoo 范围),全都在精度下降 1% 的范围内。
    • 启用了 RetinaNet、Open Pose、Open Model Zoo/Human-pose (单一的 3d-姿态)、Mobile Face Det 和 EAST。
    • 启用了大多数新型 Open Model Zoo 模型,除了那些有管线的和 asl-distribution-0004
  • 可用性改进:
    • 执行了无注释默认量化(简化模式):
      • 该模式允许在不需要精度检查器支持的情况下对 CNN 进行量化。
      • 该模式会接受一组图像(无注释数据集),然后执行默认预处理并运行默认量化。 
      • 该模式不适用于复杂的模型,它们会涉及许多输入,以及特定的预处理和后处理,还有不同于一组图像的数据集。
    • 将量化配方(quantization_parameters 部分)加入到 IR (*.xml)中以显示量化参数。
  • 执行了新的偏差校正算法,以提高量化模型的精度。
    • 该算法比上一版的偏差校正速度较慢但精度更高。例如,它可以将 Mobilenet-v2/CF、mobilenet-v1-0.25/TF、image-retrieval-0001、text-detection-0004、text-recognition-0012、person-reidentification-retail-0248 和其他模型完全量化,而精度下降则保持在 1% 以下。
    • 之前的偏差校正算法现在称为 FastBiasCorption。如要激活新版,请将量化参数 "use_fast_bias" 设置为 false。
  • 训练后优化工具会生成一个适用于 INT8 推理的压缩版英特尔 Distribution of OpenVINO 工具套件的中间表示文件,其所占的磁盘空间比 FP32 版小了 4 倍。使用 - kept_uncompresed_weights 来获得扩展版本。

深度学习工作台

深度学习工作台

  • 扩展了对 INT8 训练后优化工具的支持。现在,预训练模型可以使用无注释数据集(带图像的目录)来根据 INT8 精度进行校准,这使您能够在不需要数据集的情况下校准为较低的精度 - 输入图像就足够了。当前只有默认(最高性能)算法才支持该功能。
  • 集成了部署管理器,它允许用户在使用 DL 工作台进行微调和实验后,获得部署的最小包装尺寸
  • 增加了对英特尔 Vision Accelerator Design 目标的支持(仅限在 Linux 上)。
  • 分离了校准和验证数据集,这样可让你使用不同的数据集来进行校准和精度/性能测量。
  • 执行了多种可用性和体验上的改进,包括对比模式的新外观和感觉。
  • 启用了新的使用令牌的认证机制,它为用户的模型和数据集提供了额外的安全保护。

OpenCV*

  • 版本改为 4.3.0。
  • 在 dnn 模块的推理引擎后端 API 中默认使用 nGraph API。NN Builder API 已被废弃,但尚未被移除。你可以使用 cv::dnn::setInferenceEngineBackendType 函数来启用它。

示例和教程

  • 增加了样本来演示 nGraph C++ API。样本演示了如何使用 ngraph::Function 来创建网络执行推理。样本使用 LeNet 分类网络作为一个示例。

Open Model Zoo

  • 扩展了 Open Model Zoo,包括额外的 CNN-预训练模型和预生成的中间表示文件 (.xml + .bin):
    • [新] face-detection-0100
    • [新] face-detection-0102
    • [新] face-detection-0104
    • [新] face-detection-0105
    • [新] face-detection-0106
    • [新] unet-camvid-onnx-0001
    • [新] yolo-v2 -ava-0001
    • [新] yolo-v2 -ava-sparse-35-0001
    • [新] yolo-v2-ava-sparse-70-0001
    • [新] yolo-v2-tiny-ava-0001
    • [新] yolo-v2-tiny-ava-sparse-30-0001
    • [新] yolo-v2-tiny-ava-sparse-60-0001
    • [新] instance-segmentation-security-1025 
    • asl-ecognition-0004 - 取代了 2020 版本 1 的模型。
    • person-reidentification-retail-0248 - 取代了 2020 版本 1 的模型。
    • person-reidentification-retail-0249 - 取代了 2020 版本 1 的模型。
    • person-reidentification-retail-0300 - 取代了 2020 版本 1 的模型。
    • text-spotting-0002-detector - 取代了 2020 版本 1 的模型。
    • text-spotting-0002-recognizer-decoding - 取代了 2020 版本 1 的模型。
    • text-spotting-0002-recognizer-encoder - 取代了 2020 版本 1 的模型。
    • faster-rcnn-resnet101-coco-sparse-60-0001 - 取代了 2020 版本 1 的模型。
    • handwritten-japanese-recognition-0001 - 取代了 2020 版本 1 的模型。
    • icnet-camvid-ava-0001 - 取代了 2020 版本 1 的模型。
    • icnet-camvid-ava-sparse-30-0001 - 取代了 2020 版本 1 的模型。
    • icnet-camvid-ava-sparse-30-0001 - 取代了 2020 版本 1 的模型。
  • 增加了新的演示应用:
    • Colorization
    • Image Inpainting
    • MonoDepth
  • 模型下载器工具配置文件被放置在单独的模型文件夹中,以改善用户体验并简化贡献过程(在同时开发/合并几个模型的同时,减少合并冲突)。该列表被扩展至支持以下 Caffe2*、TensorFlow*、MXNet* 和 PyTorch* 格式的公共模型:
模型名称 框架
colorization-v2 Caffe*
colorization-v2-norebal Caffe
googlenet-v1-tf TensorFlow
googlenet-v4-tf TensorFlow
gmcnn-places2-tf TensorFlow
i3d-rgb-tf TensorFlow
midasnet PyTorch*
resnet-50-tf TensorFlow
resnet-18-pytorch PyTorch
rfcn-resnet101-coco-tf TensorFlow
yolo-v1-tiny-tf TensorFlow
yolo-v2-tiny-tf TensorFlow
yolo-v2-tf TensorFlow
yolo-v3-tf TensorFlow

深度学习流媒体播放器

引入了深度学习 (DL) 流媒体播放器,现在是英特尔 Distribution of OpenVINO 工具套件的默认安装包的一部分。DL Streamer 使开发人员能够在从边缘到云的跨英特尔® 架构上创建和部署复杂的媒体分析管线。它为开发人员提供了熟悉的 GStreamer 多媒体框架的体验,带来了出色的管线互操作性。在让开发人员能够构建灵活的流媒体分析管线的同时,它还提供了跨英特尔架构的优化推理,从 CPU 和 iGPU 到英特尔® Movidius™ 视觉处理器 (VPU)。

DL Streamer 提供的关键 GStreamer 要素:

要素 用途
gvawatermark 在视频帧上覆盖元数据以是推理结果可视化。
gvatrack 使用零期或短期追踪算法执行对象追踪。零期追踪可分配独特的对象 ID,并要求对象检测在每一帧运行。短期追踪可在帧间追踪对象,从而减少了在每一帧运行对象检测的需求。
gvapython 提供一个回调来在每一帧执行用户定义的 Python 函数。可用于元数据转换、推理后处理以及其他任务。
gvametapublish 将 JSON 元数据发布到 MQTT 或 Kafka 消息代理或文件。
gvametaconvert 将元数据结构转换为 JSON 格式。
gvainference 使用任何带 RGB 或 BGR 输入的模型运行深度学习推理。
gvafpscounter 在单一进程中测量多个流的每秒帧数。
gvadetect 使用 YoloV2-tiny、YoloV3 和 SSD 类模型执行对象检测。为检测到的对象输出感兴趣区域 (ROI)。
gvaclassify 执行对象分类。接受 ROI 作为 ROI 元数据的输入和输出分类结果。


有关更多信息,请参阅英特尔 Distribution of OpenVINO 工具套件示例中的 DL Streamer 教程,API 参考,以及样本文档。DL Streamer 是位于 GitHub 上的 GStreamer 视频分析 (GVA) 插件存储库中的开源项目。DL Streamer 包含了 Python 和 C++ API,可访问由 GStreamer 元素生成的、以 Python 和 C++ 编写的用户应用程序的推理结果。 C++ 和 Python 的样本代码可以在由英特尔 Distribution of OpenVINO 工具套件安装器所安装的样本文件夹中找到。

第 1 版发布中的更新和更改

要点综述

  • 英特尔 Distribution of OpenVINO 工具套件 2020.1 包含了安全错误修复。用户应更新到最新版本。
  • 训练后优化可实现显著的加速改进。使用模型量化时没有或者只有很小的精度下降,同时还简化了开发进程,不需要模型再训练或微调。 
  • 扩展了对英特尔® Movidius™ 视觉处理器 (VPU) 上的定制层的支持。这使专用边缘、媒体和视觉推理能够获得更大的灵活性和定制。
  • 针对 INT8 的低精度运行。包括对“假量化”的原生支持以及对 3D 卷积层的支持,以及减少内存占用。使开发人员能够将更多深度学习模型添加到他们的应用程序中。 
  • 最大限度提高了性能优化和深度学习工作台的跨平台灵活性。凭借对训练后优化工具、COCOC 数据集和新算法的支持,以及在开发人员体验和接口上的改进,简化了开发和部署的工作流程。如需了解更多信息,请在深度学习工作台上观看网络研讨会。 
  • 在 Open Model Zoo 上支持了新的演示模型,其中包括: 
    • 美国手语 (ASL) 识别 
    • 使用 Mask R-CNN 进行字符和文本检测 
    • 3D 人体姿态估计
  • 语音库和语音识别演示将包含在 Windows* 和 Ubuntu* 18.04 操作系统发布版中。新组件启用并展示了端到端的(语音至文本)自动语音识别场景。
  • OpenVX* 已被从分发中移除,请参阅独立的英特尔® Distribution of OpenVX* 执行页面。
  • 由于第九代智能英特尔® 酷睿™ 处理器(前称 Coffee Lake)内核 5.0 集成显卡的性能相较内核 5.3 和 4.15 (延迟模式)有所下降,所以默认切换为 Linux Ubuntu* 18.04 内核 5.3。
  • 增加了对搭载英特尔® Movidius™ Myriad™ X C0 视觉处理器的人工智能边缘计算板的支持,MYDX x 1 是 Windows 上的。
  • 请查看此文档页面,以获得英特尔® 平台的深度学习模型性能加速

与 v.2019 R3.1 相比,向后不兼容的更改

  • 适用于样本 <install_root>deployment_toolsinference_enginesamples 的推理引擎文件夹现在已包含 C、C++ 和 Python 样本。C++ 样本的旧路径从 <install_root>deployment_toolsinference_enginesamples 更改为 <install_root>deployment_toolsinference_enginesamplescpp 。
  • 2019 R1 引入的旧校准工具 1.0 已从软件包中移除,并被新版本取代。
  • CPU 扩展库已被移除。扩展件已移动至插件中。
  • 废除 API 列表API 更改

模型优化器

常见变更

  • 模型优化器默认生成 IR 版本 10(生成 IR 版本 7 的 Kaldi* 框架除外),操作语义已大幅更改命令行 --generate_deprecated_IR_V7 可以用于生成旧版的 IR。请参阅文档查看新操作集的规范。
  • --tensorflow_use_custom_operations_config 已被重命名为 --transformations_config。旧的命令行参数已被废除,并将在将来的版本中移除。
  • 增加了使用 --input 命令行参数来指定输入数据类型的功能。例如 --input placeholder{i32}[1 300 300 3]。请参阅文档查看更多示例。
  • mode=’training’ 时,增加了对 FusedBatchNorm 操作的支持
  • 增加了优化转型来移除无用的 Concat+Split 子图。
  • 许多图形转型已从模型优化器移至推理引擎。
  • 修复了 networkX 2.4 + 兼容性问题。

ONNX*

  • 增加了对以下 ONNX* 操作的支持:
    • Abs
    • Acos
    • Asin
    • Atan
    • Cast
    • Ceil
    • Cos
    • Cosh
    • Div
    • Erf
    • Floor
    • HardSigmoid
    • Log
    • NonMaxSuppression
    • OneHot
    • ReduceMax
    • ReduceProd
    • 调整大小
    • Sign
    • Sin
    • Sqrt
    • Tan
    • Xor
  • 增加了对以下 ONNX 模型的支持:

TensorFlow*

  • 增加了优化转型,可检测到 5D 输入的平均值规范化模式,并用单个 MVN 层取代它。
  • 增加了在安装了 TF 2.x 的情况下读取 TF 1.X 模型的功能。
  • 变更了命令行以转换 GNMT 模型。请参阅有关 GNMT 模型转换的文章以了解更多信息。
  • 废除了 --tensorflow_subgraph_patterns--tensorflow_operation_patterns 命令行参数。未来的版本中将移除 TensorFlow 卸载功能。
  • 增加了对以下 TensorFlow 模型的支持:
  • 增加了对以下 TensorFlow 操作的支持:
    • Bucketize(仅 CPU)
    • Cast
    • Cos
    • Cosh
    • ExperimentalSparseWeightedSum(仅 CPU)
    • Log1p
    • NonMaxSuppressionV3、NonMaxSuppressionV4、NonMaxSuppressionV5
    • Sin
    • Sinh
    • SparseReshape(当输入和输出形状相同时移除)
    • SparseToDense(仅 CPU)
    • Tan
    • Tanh

MXNet*

  • 增加了对以下 MXNet 拓扑的支持:
    • 来自 GluonCV 模型 zoo 的 YoloV3 模型。
    • MobileFace 模型(最高可达 NMS 层)
  • 增加了对以下 MXNet 操作的支持:
    • 使用双线性模式的 UpSampling 
    • Where
    • _arange
    • _contrib_AdaptiveAvgPooling2D
    • div_scalar
    • elementwise_sub
    • exp
    • expand_dims
    • greater_scalar
    • minus_scalar
    • repeat
    • slice
    • slice_like
    • tile

Kaldi*

  • -remove_output_softmax 命令行参数现在除了会移除纯 Softmax 层以外,还会引发最后 LogSoftmax 层的移除。
  • 增加了对以下 Kaldi 操作的支持:
    • linearcomponent
    • logsoftmax
  • 增加了对以下 Kaldi 模型的支持:

推理引擎

常见变更

  • 增加了 C API bridge 库,可让您将推理引擎运行和插件集成到不明确依赖于 C++ 的应用程序中。
  • 增加了对 I420 blobs 的支持。启用预处理并使用 I420Blob 以 I420 格式传递数据来进行推理。推理引擎会在推理之前自动将数据转换为 BGR。
  • 增加了远程 Blob,允许在远程硬件上访问内存,以构建不依赖于主机内存的管线
  • 启用了对 Windows 操作系统的多插槽支持
  • 重新处理了 INT8 运行时(假的基于量化的 int8 流程),这样它会提供更高的性能和更广泛的拓扑覆盖范围:
    • 集成了新的图表表示
    • 执行了图形转型
    • 支持对称和不对称量化方案
    • 扩展了 INT8 的支持,涵盖更多用例:3d-模型、语义分割、实例分割
    • CPU 和 GPU 有相同的功能覆盖(功能、模型)
    • 执行了所需的优化,比之前使用的方法实现了 1.2 倍的性能提升

CPU 插件

  • 重新设计了(适用于 CPU)假的基于量化的 int8 流程,这也为将之扩展至其他 int8 平台打下了基础。
  • 引入了在 Windows 上对 NUMA* 的支持,总体上重新设计了 NUMA 意识 (现在它依赖于最新的线程构建模块 (TBB) NUMA 意识功能)。 
    • 建议更新所有使用 TBB(例如,英特尔® Distribution for Python*)的英特尔产品,以免在结合英特尔 Distribution of OpenVINO 工具套件时出现 TBB 版本冲突。

GPU 插件

  • 为 OpenCL 和 Direct3D* 11 框架执行了远程 blob,并支持内存在 GPU 上以它们的表达方法来进行描述

MYRIAD 插件

  • 扩展了对视觉处理器定制层的支持

HDDL 插件

  • 扩展了对视觉处理器定制层的支持
  • 支持 Linux 内核版本 5.2 和以下版本。

GNA 插件

  • 增加了对 Tensor Iterator 层的支持
  • 增加了对 Squeeze 层的支持
  • 扩展了对 Permute 层的支持:
  • 修复了 LSTM Cell 层的问题
  • 提高了 TDNN 网络的精度

FPGA 插件

  • 为使用 compile_tool 的 FPGA 和 HETERO:FPGA 设备引入了离线编译。编译工具可生成可以通过 Core::Import 导入到目标设备的二进制。

模型优化器和 nGraph 集成到推理引擎

  • 英特尔 Distribution of OpenVINO 工具套件现已使用 nGraph 功能来提供图形构建 API、图形转型引擎和重塑,取代了原 NN Builder API。请参阅模型优化器推理引擎开发人员指南的新教程和更新来了解这些新的运行时功能。NN Builder API 已标为废除版本,并将在后期版本中被移除。
  • 此外,我们修订了用于内部中间表示文件的操作集并提供了一个扩展集,其中涵盖了之前的英特尔 Distribution of OpenVINO 工具套件和 nGraph 操作,并添加了必要的语义来进一步在支持的框架中加速模型。详细的 opset 规范和新的 IR-vs-operations 版本提要在文档中有提供。
  • 因此,模型优化器现在可以生成两种 IR 类型:a) IR V10 (默认选项),带有此扩展语义, b) IR V7 (在 MO 的 --generate_deprecated_IR_V7 选项下),它仅仅是之前发布的 IR V6 的进化版本。
  • 我们希望将现有(并且已支持)模型转换为新语义 (IR V10) 对终端用户是透明的,如果因为任何原因转换或推理失败了,请尝试生成 V7 IR (按上面的选项),如果没有帮助,请将您的问题报告给我们。

训练后优化工具

该工具的主要目标:

  • 将深度学习模型转化为特定于选定类型优化(例如,量化或稀缺)的表示文件,而无需进行模型再训练
  • 在这种转化后,可以在支持此类优化(例如,以 INT8 精度执行)的硬件上高效地推理该模型
  • 该工具可扩展,以支持多个量化算法:

    训练后优化工具

该工具支持为不同类型的 IA 硬件进行英特尔 Distribution of OpenVINO 工具套件中间表示文件 (IR) 模型的量化:

  • 支持的算法列表:
    • 默认算法本质上是一个运行三种基本算法的管线:
      • MinMax
      • 偏差校正(高于原生算法运行,基于每通道量化错误最小化)
      • 激活通道协调(用于对激活范围进行协调)
    • 精度意识算法可保留生成模型的精度(将精度下降保持在临界值之下)
  • 提供硬件特定配置
  • 具有每通道/每张量量化粒度
  • 通过预先机制支持对称/非对称量化
  • 为 MinMax、默认和无数据算法引入了两种默认预设,以简化用户体验
    • “性能”预设代表对称的全通道(无论是重量还是激活)量化
    • “精度”预设代表对称的重量 + 不对称激活量化
    • 此外也可以进行每层量化调节,可以将一些层包含在“忽视范围”中,以避免量化。

该工具可以在 <install_root>deployment_tools oolspost_training_optimization_toolkit 中找到。 安装和运行 setup.py 后,该工具套件可通过 “pot” 别名在命令行中使用。

深度学习工作台

  • 增加了对 Int8 训练后优化工具的支持。目前披露了两个新的算法(最大性能和最大精度)
  • 增加了对 COCO 数据集的支持
  • 包括每层表格视图的新外观和新感觉在内的多项 UX/UI 改进

OpenCV*

  • 版本更改为 4.2.0。
  • 增加了对推理引擎 nGraph API 的实验性支持(可以通过 cv::dnn::setInferenceEngineBackendType() 调用来进行选择)。
  • 增加了推理和流媒体扩展:现在 OpenCV G-API 可以处理全视频分析管线,包括视频捕获/解码、图像处理、CV 和 DL 得分。
  • 以下功能已有新教程:面部分析面部美化管线。

示例和教程

  • CPU 扩展库已被移除。
  • 适用于样本 <install_root>deployment_toolsinference_enginesamples 的推理引擎文件夹现在已包含 C、C++ 和 Python 样本。
  • 增加了端到端演示,来演示语音识别管线:用于波形文件转录的离线演示和用于实时语音识别的 GUI 演示。
  • 增加了样本来演示推理引擎 C-API 的使用

工具

  • 增加了语音处理管线的功能提取器和解码器工具。增加了将 Kaldi* 语言模型转换为解码器工具使用的格式的工具。

Open Models Zoo

  • 扩展了 Open Model Zoo,包括额外的 CNN-预训练模型和预生成的中间表示文件 (.xml + .bin):
    • [新] asl-recognition-0003
    • [新] person-detection-asl-0001
    • [新] person-reidentification-retail-0200
    • [新] resnet18-xnor-binary-onnx-0001
    • [新] text-spotting-0001-detector
    • [新] text-spotting-0001-recognizer-decoder
    • [新] text-spotting-0001-recognizer-encoder
    • [新] person-reidentification-retail-0103.取代 2019 R3 模型。
    • [新] person-reidentification-retail-0107。取代 2019 R3 模型。
  • 增加了新的演示应用程序:
    • 3D 人体姿态估计
    • 互动式面部检测
    • 多摄像头多人追踪
    • 具有 YOLO v3 支持的多通道对象检测
    • 美国手语 (ASL) 识别
    • 使用 CenterNet 的对象检测
    • 单一人体姿态估计
    • 文本识别

模型下载器工具配置文件被放置在单独的模型文件夹中,以改善用户体验并简化贡献过程(在同时开发/合并几个模型的同时,减少合并冲突)。该列表被扩展至支持以下 Caffe2*、TensorFlow、MXNet 和 PyTorch 格式的公共模型:

模型名称 框架
efficientnet-b0 TensorFlow
efficientnet-b0-pytorch PyTorch
efficientnet-b0_auto_aug TensorFlow
efficientnet-b5 TensorFlow
efficientnet-b5-pytorch PyTorch
efficientnet-b7-pytorch PyTorch
efficientnet-b7_auto_aug TensorFlow
face-recognition-mobilefacenet-arcface MXNet
face-recognition-resnet100-arcface MXNet
face-recognition-resnet34-arcface MXNet
face-recognition-resnet50-arcface MXNet
densenet-121-caffe2 Caffe2
resnet-50-caffe2 Caffe2
squeezenet1.1-caffe2 Caffe2
vgg19-caffe2 Caffe2
ctdet_coco_dlav0_384 ONNX
ctdet_coco_dlav0_512 ONNX
brain-tumor-segmentation-0002 ONNX
human-pose-estimation-3d-0001 PyTorch
single-human-pose-estimation-0001 PyTorch
vehicle-license-plate-detection-barrier-0123 TensorFlow

预览功能术语

预览功能是正在引入中的用来获取开发人员早期反馈的功能。我们鼓励大家将与预览功能相关的评论、问题和建议发送到此论坛上:英特尔 Distribution of OpenVINO 工具套件论坛。

预览功能的关键属性:

  •     旨在实现高质量的执行
  •     无法保证未来的存在或兼容性。

注意:预览功能在未来会发生变化。在未来的版本中可能移除或更改它。对预览功能的更改需要经过废除和删除的过程。不鼓励在生产代码库中使用预览功能。

修复的问题

JIRA ID 描述 组件
26561 适用于英特尔神经电脑棒 2 (英特尔 NCS2) 和搭载英特尔 Movidius 视觉处理器 (VPU) 的英特尔 Vision Accelerator Design 的 “semantic-segmentation-adas-0001”模型的性能降级 IE MyriadX 插件、IE HDDL 插件
26560 适用于英特尔神经电脑棒 2 (英特尔 NCS2) 和搭载英特尔 Movidius 视觉处理器 (VPU) 的英特尔 Vision Accelerator Design 的 “deeplabv3”模型的性能降级 IE MyriadX 插件、IE HDDL 插件
26353 适用于英特尔神经电脑棒 2 (英特尔 NCS2) 和搭载英特尔 Movidius 视觉处理器 (VPU) 的英特尔 Vision Accelerator Design 的 deeplab_v3 模型上的数据集的精度问题 IE MyriadX 插件、IE HDDL 插件
26384 适用于英特尔神经电脑棒 2 (英特尔 NCS2) 和搭载英特尔 Movidius 视觉处理器 (VPU) 的英特尔 Vision Accelerator Design 的 “refinedet-resnet-101”模型的性能降级 IE MyriadX 插件、IE HDDL 插件
26700 搭载英特尔 Movidius 视觉处理器 (VPU) 的英特尔 Vision Accelerator Design 在 Linux 内核 5.3 上挂起 IE HDDL 插件
24811 [CPU-VNNI] license-plate-recognition-barrier-0007、efficientnet-b0、person-reidentification-retail-003 模型上的分割故障。在执行的最后,性能指标应用程序出现分割故障。 IE CPU 插件
24517 Specialize_function 使用 Split 操作为功能增加了冗余的操作 nGraph 核心
25417 FQ 层不正确的 OL 和 OH 参数 MO TensorFlow
23985 文档中指定了不正确的命令行参数来转换 LM1B 模型 MO TensorFlow
25657 在多个网络加载/卸载周期的情况下,GPU 插件可能存在内存泄漏 IE GPU 插件
25087 在类似 MobileNet 的模型上,GPU 插件可能会性能降级 IE GPU 插件
25020

当将几个拓扑加载到一个 CPU 插件中时,可能会生成错误的输出数据。该问题需要几个条件:

  • 使用 IRv10
  • 将几个模型加载到同一个插件中
IE CPU 插件
25940

可能出现 TBB 二进制不匹配。根据加载的错误 TBB 模块的版本,它可能会导致加载步骤的崩溃、放慢、缺少符号。

全部
23705

当在 GNA 上运行异构插件时,推理可能会挂起,退回至 CPU。

IE GNA 插件
26585 对于包括 LSTM 单元在内的模型,语音样本可能会显示不正确的参考评分对比结果 示例
24523 CPU 上 asl-recognition-xxxx 模型性能低下 IE CPU 插件
23198 在恒量子图中对 OneHot 层的推理可能不正确。因此,GNMT 拓扑可能会生成不正确的输出。 全部
22108 在固件启动时停止应用程序可能会导致英特尔® 神经电脑棒 2 的设备挂起 IE MyriadX 插件
23738 Core::SetConfig 和 Core::GetConfig 方法不能在 GNA 插件中正确工作。 IE GNA 插件
29082 OpenVINO 有线程安全问题。LoadNetwork 和其他 ie::Core 方法同时从不同线程被调用可能会导致错误或崩溃。 全部
28747 CPU 插件不能在搭载低于 AVX2 指令集 CPU 的 Windows 系统上工作(英特尔凌动® 处理器) IE CPU 插件
28970 在 MYRIAD 上 TF faster-rcnn 和 faster-resnet101 拓扑精度发生偏离 IE MyriadX 插件、IE HDDL 插件
29361 模型'text-recognition-0012'和 ctpn 的性能降级 IE MyriadX 插件、IE HDDL 插件
28683 在 Linux 上改变系统时间可能会断开监视程序,并中断推理 IE HDDL 插件
25723 TF rfcn_resnet101_coco 在数据集上精度低

IE MyriadX 插件、IE HDDL 插件

已知问题

JIRA ID 描述 组件 周转

#1

很多问题尚未解决,请参阅英特尔 Distribution of OpenVINO 工具套件 2019 版的发布说明中的“已知问题”一节

全部

21670 当指定 8 位量化时,英特尔® GNA 插件无法对具有双峰权重分布的 FC 层进行精确量化。数值接近于 0 的权重被设置为零。 IE GNA 插件 在这些用例中使用 16 位权重。

25358

在 GT3e/GT4e/ICL NUC 平台上,GPU 插件可能会出现一些性能降级

IE GPU 插件

24709

重新训练的 TensorFlow 对象检测 API RFCN 模型有显著的精度降级。只有预训练模型才会生成正确的推理结果。

全部

如果需要对模型进行再训练,则使用 Faster-RCNN 模型取代 RFCN 模型。

26129

TF YOLO-v3 模型在搭载英特尔® Movidius™ Myriad™ X C0 视觉处理器, MYDX x 1 的人工智能边缘计算主板上出现故障 

IE MyriadX 插件

使用 YOLO 网络或 USB 连接设备的其他版本(神经电脑棒 2)

 

由于性能低下,nGraph Python API 已从当前发布中移除。当它具备了理想的品质时,会被重新添加进来。

IE Python API

使用 C++ API

26388 由于缺少状态处理,搭载 LSTMCell 的低延迟(批量尺寸 1)图形无法正确推理。 全部 使用废弃的 IRv7,并手动将内存层插入到 IR 图形中。或者,将状态张量添加为额外输入和输出节点,在加载图形后,将它们给予了IR 节点 ID 的 Blobs 联系起来。
24101 如果层不进行 64 字节对齐,性能和内存的消耗可能会很差 IE GNA 插件 尝试避开未进行 64 字节对齐的层,让模型 GNA 变得友好
28006 对于包含 3 个或以上输入层的 concat 层,结果不正确。 IE GNA 插件 对模型进行重构,让它不要拥有此层
34350 当 LSTMCell 是图形的输出层时,输出全部为零。 IE GNA 插件 在 IR 图形的末尾手动插入额外的非功能层(例如身份激活)。
31164 HDDL Xlink 无法连接 32 个以上的 MYX 设备 IE HDDL 插件 使用多达 4 个搭载英特尔® Movidius™ VPU 的英特尔® Vision Accelerator Design
33146 在英特尔® 神经电脑棒 2 和搭载英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design 上,当批次 > 1 时一些模型出现故障 IE MyriadX 插件、IE HDDL 插件 使用批次 1 或使用其他硬件(即 CPU/GPU)
32934 使用废弃的 CNNNetwork API 进行修改的模型可能无法载入至 Myriad/HDDL 插件 IE MyriadX 插件、IE HDDL 插件 使用该模型的 IRv10 版本
33881 se-resnext 和 efficientnet 模型上出现性能回退 IE MyriadX 插件、IE HDDL 插件 使用 OpenVINO 2020.3 LTS 发布版本
33810 在 Linux 上,当加载拥有大量 CPU 流的大型模型到设备中时,“can't protect” 例外事件可能会发生 IE MKL-DNN 插件 将以下行添加到 /etc/sysctl.conf:
vm.max_map_count=2097152
然后用 sysctl -p 重新加载

包含在此版本中

英特尔® Distribution of OpenVINO™ 工具套件可在以下版本提供:

  • 英特尔 Distribution of OpenVINO Windows 工具套件
  • 英特尔 Distribution of OpenVINO Linux 工具套件
  • 受 FPGA 支持的英特尔 Distribution of OpenVINO Linux 工具套件
  • 英特尔 Distribution of OpenVINO macOS* 工具套件
组件 许可 位置 Windows* Linux* Linux 支持 FPGA macOS*

深度学习模型优化器

为已训练模型准备的模型优化工具

Apache 2.0 <install_root>/deployment_tools/model_optimizer/*

深度学习推理引擎

统一的 API 将推理集成到应用程序逻辑中

推理引擎标题

EULA

 

 

Apache 2.0

<install_root>/deployment_tools/inference_engine/*

 

 

<install_root>/deployment_tools/inference_engine/include/*

OpenCV 库

OpenCV 社区版
为英特尔硬件编译

BSD <install_root>/opencv/*

英特尔® Media SDK 库
(开源版本)

使集成变得简单
在英特尔 Distribution for OpenVINO 工具套件
和英特尔 Media SDK 之间。

MIT <install_root>/../mediasdk/*

英特尔® Graphics Compute Runtime for OpenCL 

改进了可用性 

MIT

<install_root>/install_dependencies/

    install_NEO_OCL_driver.sh - 帮助安装 OpenCL 运行时,默认位置 /usr/local/lib/

    intel-opencl_*.deb - Ubuntu* 的驱动程序

    intel-opencl_*.rpm - CentOS* 的驱动程序

    intel-* - 驱动程序的依赖性

英特尔® FPGA Deep Learning Acceleration Suite(英特尔® FPGA DL Acceleration Suite),包括预先编译的比特流

执行最常见的 CNN 拓扑来实现图像分类并为人工智能开发人员简化了 FPGA 的采用。

包括适用于搭载英特尔® Arria 10 GX FPGA 的英特尔® Programmable Acceleration Card 和搭载英特尔® Arria 10 FPGA (Mustang-F100-A10) 速度级 1 和速度级 2 的英特尔® Vision Accelerator Design 的预编译比特流

Intel OBL FPGA SDK 18.1

<install_root>/bitstreams/a10_dcp_bitstreams/*

<install_root>/bitstreams/a10_vision_design_sg1_bitstreams/*

<install_root>/bitstreams/a10_vision_design_sg2_bitstreams/*

 

英特尔® FPGA SDK for OpenCL™ 软件技术

面向 OpenCL™ 的英特尔® FPGA RTE 提供实用程序、主机运行时库、驱动程序,以及 RTE 专用库和文件

Intel OBL FPGA SDK 18.1

/opt/altera/aocl-pro-rte/*

<user>/intelFPGA_pro/<version>/*

英特尔 Distribution of OpenVINO 工具套件文档

开发人员指南和其他文档

  OpenVINO™ macOS*产品网站上可找到,
并非安装程序包的一部分。

Open Model Zoo

模型文档;二进制形式的模型可以使用模型下载器 下载

Apache 2.0 <install_root>/deployment_tools/open_model_zoo/*

推理引擎样本

说明推理引擎 API 用途的示例和演示如何在您的应用程序中使用英特尔® Distribution of OpenVINO™ 工具套件功能的示例

Apache 2.0 <install_root>/deployment_tools/
inference_engine/samples/*

深度学习工作台

帮助开发人员通过工具套件中的模型优化器运行深度学习模型,将其转换为 INT8,对它进行微调,运行推理并测量精度的工具。

EULA <install_root>/deployment_tools/tools/workbench/*

nGraph

深度学习 nGraph 的开源 C++ 库、编译器和运行时

Apache 2.0 <install_root>/deployment_tools/ngraph/*

训练后优化工具套件

设计旨在通过应用不需要重新训练(例如,训练后量化)的特定方法来将模型转化为对硬件更加友好的表示文件。

EULA <install_root>/deployment_tools/
tools/post_training_optimization_toolkit/*
语音库和端到端的语音演示 GNA 软件许可协议 <install_root>/data_processing/audio/speech_recognition/*
DL Streamer EULA <install_root>/data_processing/dl_streamer/*

哪里可以下载此版本

选择最佳选项

系统要求

英特尔® CPU 处理器

硬件

  • 具有英特尔 SSE4.1 支持的英特尔凌动® 处理器
  • 搭载英特尔® 核芯显卡的英特尔® 奔腾® 处理器 N4200/5、N3350/5、N3450/5
  • 第六代 - 第十代智能英特尔® 酷睿™ 处理器
  • 英特尔® 至强® 处理器 E3、E5 和 E7 家族(以前称为 Sandy Bridge、Ivy Bridge、Haswell 和 Broadwell)
  • 英特尔® 至强® 可扩展处理器(前身为 Skylake 和 Cascade Lake)

操作系统

  • Ubuntu 18.04 长期支持 (LTS),64 位
  • Ubuntu 16.04 长期支持 (LTS),64 位
  • Windows® 10,64 位
  • macOS 10.14, 64 位

英特尔® 处理器显卡

硬件

  • 英特尔核芯显卡
  • 英特尔® 超核芯显卡
  • 英特尔锐炬® Pro 显卡

注意 此安装需要未包含在英特尔 Distribution of OpenVINO 工具套件包中的驱动程序

 注意 英特尔® 至强® 处理器需要支持处理器显卡的芯片组。图形处理器并未包含在所有处理器中。参见产品规格来获得关于您处理器的信息。

操作系统

  • Ubuntu 18.04 长期支持 (LTS),64 位
  • Windows 10, 64 位
  • Yocto* 3.0, 64 位

英特尔® Gaussian & Neural Accelerator (Intel® GNA)

操作系统

  • Ubuntu 18.04 长期支持 (LTS),64 位
  • Windows 10, 64 位

英特尔® FPGA 处理器

注意仅适用于支持 FPGA 的英特尔 Distribution of OpenVINO™ Linux 工具套件

硬件

  • 搭载英特尔 Arria 10 FPGA (Mustang-F100-A10) 速度级 1 和速度级 2 的英特尔 Vision Accelerator Design
  • 搭载英特尔 Arria 10 GX FPGA(搭载英特尔 Arria 10 GX FPGA 的英特尔 PAC)的英特尔 Programmable Acceleration Card(英特尔 PAC)

操作系统

  • Ubuntu 18.04 长期支持 (LTS),64 位

英特尔® 视觉处理器

具有相应操作系统的硬件

  • 搭载英特尔 Movidius 视觉处理器 (VPU) 的英特尔 Vision Accelerator Design:
    • Ubuntu 18.04 长期支持 (LTS),64 位(Linux 内核 5.2 和更低版本)
    • Windows 10, 64 位
    • CentOS 7.4,64 位 
  • 英特尔 Movidius 神经电脑棒 (NCS) 和英特尔神经电脑棒 2 (英特尔 NCS2):
    • Ubuntu 18.04 长期支持 (LTS),64 位
    • CentOS 7.4,64 位
    • Windows 10, 64 位
    • Raspbian*(仅限目标)
  • 搭载英特尔® Movidius™ Myriad™ X C0 视觉处理器、MYDX x1 的人工智能边缘计算主板:
    • Windows 10, 64 位

在验证过程中使用的组件

操作系统:

DL 框架:

  • TensorFlow 1.14.0, 1.15.2, 2.2.0(根据产品特性提供有限支持)
  • MxNet 1.5.1

有用的链接

法律信息

您使用本文档时不得涉及针对本文档所述英特尔产品的任何侵权分析或其他法律分析,也不得为此提供便利。您同意就此后提出、包括本文档主题在内的任何专利权利授予英特尔非独占、无许可费的许可。

本文档不代表英特尔公司或其他机构向任何人(明示或暗示、明确或隐含地)授予任何知识产权许可。

此处提供的所有信息可随时改变而毋需通知。关于英特尔的最新产品规格和路线图,请联系您的英特尔代表。

所述产品可能包含设计缺陷或错误(即勘误表),这可能会使产品与已发布的技术规格有所偏差。可应要求提供当前的勘误表。

英特尔技术特性和优势取决于系统配置,并可能需要支持的硬件、软件或服务激活。访问 http://www.intel.cn/ 了解详情,或咨询生产厂家或零售商。

没有任何计算机系统能保证绝对安全。

英特尔、Arria、酷睿、Movidius、至强、OpenVINO 和英特尔标志是英特尔公司在美国和/或其他国家(地区)的商标。

OpenCL 和 OpenCL 标识是 Apple Inc.的商标,经 Khronos 许可使用

*文中涉及的其它名称及商标属于各自所有者资产。

版权所有 © 2020, 英特尔公司。保留所有权利。

产品和性能信息

1

英特尔的编译器针对非英特尔微处理器的优化程度可能与英特尔微处理器相同(或不同)。这些优化包括 SSE2、SSE3 和 SSSE3 指令集和其他优化。对于在非英特尔制造的微处理器上进行的优化,英特尔不对相应的可用性、功能或有效性提供担保。该产品中依赖于微处理器的优化仅适用于英特尔微处理器。某些非特定于英特尔微架构的优化保留用于英特尔微处理器。关于此通知涵盖的特定指令集的更多信息,请参阅适用产品的用户指南和参考指南。

通知版本 #20110804