已归档 - 英特尔® 实感™ SDK 黄金版 R2 – 概述

英特尔® 实感™ SDK 已停产。 不再继续提供支持或更新。

下载 PDF

简介

英特尔® 实感™ SDK 黄金版 R2 (v4.0) 现已推出! 本简要概述可帮助您了解黄金版 R1 (v3.1) 的产品改进,以及一些可用于配合英特尔实感 SDK 创建出色应用的全新自然交互模式。

变化概览

  • SDK 和景深摄像头管理 (DCM)
  • 新模式
    • 3D 扫描
    • 脉搏估算
    • Blob 追踪模块
    • 新使用程序
    • 英特尔® 实感后置摄像头 (R200) 新功能
  • 黄金版 R2 SDK 改进
    • 手部追踪模块
    • 面部追踪模块
    • Unity* 支持
    • Java*, Processing* 支持
    • JavaScript* 支持
    • 免触控控制器
  • 弃用功能
  • 其他资源

SDK 和 DCM

需要注意黄金版 R2 的两大主要变化。

首先,SDK 现在为英特尔® 实感™ 前置摄像头 (F200) 增加了一些增强功能和新功能。 这些功能的详情将在后面的部分中进行介绍。 此外,本版 SDK 中还包括面向后置摄像头 (R200) 的 API。 开发人员可以阅读 API 文档,了解每种摄像头型号的特定功能。 本文中的多数功能主要针对 F200 摄像头。 本文还明确介绍了 R200 的特定功能。

DCM 封装发生了变化。 基本来讲,摄像头驱动程序名为景深摄像头管理器。 在 R1 中,DCM 是 SDK 安装包的一部分。 从 R2 SDK 版本往后,DCM 仅支持单独下载使用。 注意: 安装高于 R2 SDK 的版本时,卸载 R1 SDK 还会卸载 DCM,这需要您单独安装 DCM 1.2。 使用集成摄像头 OEM 设备的用户将会发现,系统上已经安装了 DCM。 如果您需要更新 DCM,请单击下方的 DCM 安装链接进行更新。

F200 需要的 DCM 版本: 1.2.14.24922

R200 需要的 DCM 版本: 2.0.0.47980

下载链接: https://software.intel.com/zh-cn/intel-realsense-sdk/download

黄金版 R2 SDK 安装说明

  • 完全卸载以前的 SDK 版本,包括清除目标目录(如有需要)。 重启以完全卸载。
  • 运行适用于 F200 摄像头的 DCM 安装程序:intel_rs_dcm_f200_1.2.14.24922
  • 运行 SDK 离线安装程序:intel_rs_sdk_offline_package_r_4.0.0.112526.exe 并重启计算机。

R2 SDK 的新模式和实用程序

3D 扫描

黄金版 R2 SDK 将预先推出万众期待的 3D 扫描功能。 该模块可通过摄像头图片生成 3D 网格数据。 借助该功能,您现在能够执行静态对象捕获,平面上的可选对象检测/修正以及可选孔的填充和加固。  模块能够在定向和扫描模式中使用,并支持标准的 OBJ、PLY 和 STL 格式。

目前的限制

  • 扫描尺寸受摄像头视野的限制。 最佳实践是在摄像头前放置尺寸在 15-30 英寸的对象,以便进行有效定位。
  • 算法适用于刚体。 如果对象的某些部分相对于其他部分发生位移,扫描可能无效。
  • 当对象移动速度较慢时,追踪算法效果最佳。

脉搏估算器

除了确认四个平面之外,您现在还可追踪面部肤色不断的变化,并估算人们的脉搏率。 这些功能是面部检测功能模式的一部分。 关于更多信息,请参阅 PulseConfiguration 接口、QueryPulse 和 PulseData 功能。

Blob 追踪

如欲提高性能,不再使用连接级别的数据,blob 追踪是个不错的选择。 它支持追踪摄像头前的一切事物,支持 4 个 blob,而无需对手部分类,而且还支持不同的访问顺序。 但是请注意,该功能以预览模式提供。

新实用程序

黄金版 R2 SDK 采用了能够提高应用稳健性和性能的实用程序。

  • 旋转实用程序: 该实用程序支持在 3D 空间内转换不同的旋转方式。 它支持多种常用的旋转方式,如四元数、旋转矩阵、欧拉角和角 + 轴等。 如欲了解更多信息,请参阅 PXC[M]Rotation 类。
  • PointConverter: 该实用程序支持将 2D 或 3D 摄像头空间的点转换为不同的值,并保持相同的维度。 例如,将传感器中包含高/宽的 2D 的点转换为屏幕上分辨率为 1280X 960 的点。
  • PCXSmoother: 该实用程序可替换 RI 中的 PXCDataSmoother 实用程序,并包括在线平滑算法,相较 PXCDataSmoother 使用更轻松。

全新 R200 功能

黄金版 R2 SDK 中首次采用为 R200 摄像头编程所需的 API。 下表中重点介绍了一些主要功能。 请注意,可用功能不同,特性的成熟度也有所差别。 建议开发人员阅读 SDK 文档,以了解支持以下每种模式的 API 的具体列表。

成熟度R200
黄金版语音识别与合成
内测SDK 必要接口和颜色/深度/红外数据流。
场景感知
面部追踪
预览3D 捕获
增强型拍摄

黄金版 R2 SDK 改进

手部追踪模块

黄金版 R2 中对手部追踪模块进行了增强,并加入了一些新功能。

  • 标准手势中增加了一些新手势:
    • 滑动手势进行了增强,现可支持 swipe_up 和 swipe_down
    • 此外,还添加了一个新手势“点击”
  • 置信度值和警告: 现在使用低置信度值和警告,能够更好地追踪视野 (FOV) 的发散、运动速度、距离摄像头的位置以及手部指向摄像头等场景。 请参阅 QueryTrackingStatus 和 PXCHandData::TrackingStatusType 文档,了解更多信息。
  • 儿童大小的手部的校准文件: 在黄金版 R1 中,追踪 8 岁以下儿童的手部非常困难。 黄金版 R2 SDK 不仅支持更小的手部,还提供了设置用户年龄的功能,支持专门针对儿童加载校准文件。 如欲了解更多信息,请参阅 SetDefaultAge 和 QueryDefaultAge 文档。
  • 手掌半径: 支持更有效地检测手部尺寸的另一功能是手掌半径检测。 如欲了解更多信息,请参阅 QueryPalmRadiusImage 和 QueryPalmRadiusWorld 文档。

性能提升

  • 手势检测改进: 黄金版 R2 用户在 thumbs_up 和 thumbs_down 手势检测方面将获得极大改进,这些手势在使用前不再需要进行手部识别和校准。 此外,所有手势的误报率显著降低。
  • 对左右手切换的改进支持更好地检测和追踪手部。
  • 双手场景和等高线模式的改进性能: 在黄金版 R1 中,使用双手追踪和手势将会显著降低应用的性能。 现在,该功能进行了增强,能够提供更出色的 FPS。

手部追踪模块

 

改进的功能

  • 更强大的特征支持: 支持更宽的角度和不同的肤色。 改进的嘴部周围特征敏感度支持更好地识别张嘴和微笑等表情。
  • 对面部表情进行了改进,现支持基于 3D 数据的“亲吻”动作。
  • 根据俯仰、横向和翻滚旋转稳定、强大的识别面部表情,并且对头部中心追踪进行了改进

Unity* 支持

 

新功能

改进的功能

  • 此外,黄金版 R2 还采用了面部追踪、手部追踪、对象追踪和语音识别等其他脚本和预制件,支持更轻松地进行游戏开发。
  • 此外,该版本中还新增了一些示例,演示如何在应用开发过程中使用这些脚本和预制件。

Web 编程功能

Web 编程人员能够使用 JavaScript 或 Unity Web Player 进行编码。 浏览器支持仍然处于测试阶段,且仅适用于手部、blob、面部追踪和语音识别。 在 R2 中,该支持现可在 HTTPS 网站上使用。

Unity Web Player 需通过 Web 服务器使用,并支持使用任何 C# 函数,除了明确标出不支持的函数(如,文件 I/O)。

Java*/ Processing* 功能

英特尔实感 SDK 架构支持通过 Java/Processing 和其他任何 C++ 或 C# 界面统一访问所有 SDK 功能。 但是,英特尔实感 SDK R2 版本中的 Java/Processing 仅限在预览模式中使用,且目前的功能比较有限。 请关注未来的版本以获取增强支持。

免触控控制器

支持控制 Windows UI 功能和手势的免触控控制器现可提供更多的手势、改进的识别和性能以及控制点和滚动敏感度的方法。 此外,还包括映射用户行为或 UI 事件、滚动、缩放、导航至开始菜单、回退以及边缘滚动。 如欲了解更多信息,请参阅 PXC[M]TouchlessController 函数。

黄金版 R2 中的弃用功能

黄金版 R1 中的一些功能在 R2 中弃用。 其中包括:

  • PXC[M]BlobExtractor – 替换为 PXC[M]BlobModule
  • PXC[M]ContourExtractor – 替换为 PXC[M]BlobModule
  • PXC[M]DataSmoothing – 替换为 PXC[M]Smoother

为了确保应用在最终用户的系统上运行且不出现任何问题,将应用与开发使用的 SDK 版本的特定运行时进行封装。

总结

英特尔® 实感黄金版 R2 SDK 的特性和性能比黄金版 R1 SDK 显著提升。 我们鼓励开发人员迁移至黄金版 R2 SDK ,以充分利用改进和全新的功能开发强大的自然交互应用。

其他资源

有关编译器优化的更完整信息,请参阅优化通知