如何工作
逐步完成使用英特尔® 发行版 OpenVINO™ 工具套件的流程，并仔细研究从设置和计划解决方案到部署的关键步骤。
工作流
该工具套件包含一整套开发和部署工具。 要尝试从头到尾构建项目，请使用英特尔® DevCloud for the Edge，它包含一套完整配置的预训练模型和用于评估的硬件。
先决条件：计划和设置
选择您的主机和目标平台，然后选择型号。
步骤 1：训练模型
使用您选择的框架来准备和训练深度学习模型。
使用预训练的模型
查找开源的预训练模型或建立自己的模型。Open Model Zoo 针对各种常规任务（例如对象识别、人体姿势估计、文本检测和动作识别）提供经过优化、预训练模型的开源存储库。在存储库中，对公共模型的经过验证的支持以及代码示例和演示的集合也是开源的。该存储库经 Apache 2.0 许可使用。
步骤 2：转换和优化
运行模型优化器以转换模型，并准备进行推理。
运行模型优化器
运行模型优化器，并将模型转换为中间表示 (IR)，该中间表示以一对文件（.xml 和 .bin）表示。这些文件描述了网络拓扑，并包含权重和偏差模型的二进制数据。
转换后检查和验证
除了文件对（.xml 和 .bin）之外，模型优化器还会输出有助于进一步调优的诊断消息。另外，开源工具准确性检查程序可以帮助验证模型的准确性。要加速推理并将模型转换为不需要重新训练的硬件友好表示（例如，较低精度的 INT8），使用训练后优化工具。
步骤 3：调整性能
使用推理引擎来编译优化的网络并管理指定设备上的推理操作。
运行推理引擎
加载并编译优化的模型，并对输入数据进行推理操作，然后输出结果。推理引擎是具有接口的高级（C、C++ 或 Python）推理 API，该接口被实现为每种硬件类型的动态加载的插件。它为每种硬件提供了最佳性能，而无需实施和维护多个代码路径。
优化性能
工具套件中的其他工具有助于提高性能。
- 基准应用程序分析模型的性能
- 交叉检查工具比较两个连续模型推断之间的准确性和性能。
- 深度学习工作台允许您可视化、微调和比较深度学习模型的性能。
步骤 4：部署应用程序
使用推理引擎来部署您的应用程序。
调用推理引擎
使用推理引擎时，可以将其称为具有扩展名的核心对象，然后将优化的 nGraph 网络模型加载到特定的目标设备。加载网络后，推理引擎可以接受数据并请求推理执行，以及传递输出数据。
工具套件插件
利用可扩展可能性并实施英特尔 发行版 OpenVINO 工具套件功能的插件。这些插件实施了核心工具套件中现在可用的新功能。
这个基于 Web 的工具可在训练模型之前帮助注释视频和图像。
使用此插件可以构建、转换和分析数据集。
考虑使用此分析框架，以使用英特尔 发行版 OpenVINO 工具套件创建和部署复杂的媒体分析管道。
使用此基于 PyTorch 的框架进行量化感知训练。
该可扩展推理服务器用于服务通过英特尔® 发行版 OpenVINO™ 工具套件优化的模型。
该附件通过安全封装和模型执行来保护并允许对模型进行控制。使用基于内核的虚拟机 (KVM) 和 Docker* 容器，可与 OpenVINO™ 模型服务器兼容，实现可扩展的伺服微服务。这款新插件可使封装实现灵活的部署和安全性。
访问可训练的深度学习模型，使用自定义数据进行训练。