英特尔与 GoPro* 共同优化面向多核 CPU 和 GPU 的 GoPro Fusion* Studio 软件

woman framing a shot with her fingers

GoPro Fusion* 软件不仅支持客户创建创新的 360 度运动视频,捕捉他们在陆地、海上和空中的最新精彩瞬间,现在,用户可从 5.2K 输入中提取标准 1080p 视频。这项技术拥有多个名称:GoPro* 将它称作“OverCapture - 创意编辑的艺术”,而英特尔客户经理 Jean-Pierre Navarro 将它称作“魔力之窗”。不管怎样,您现在能够创建无缝、球状的 360 度图像,并将它重新构建为标准的 2D 格式。为此,您需要强大的计算功能,所幸,英特尔与 GoPro 通力合作,旨在支持软件充分利用现代多核处理器。

“GoPro Fusion Studio 软件使 360 度视频编辑达到极致!您可以轻松创建不可思议的 360 度视频,您还可以利用 OverCapture 提供的卓越体验,根据您的需求重新构建捕获的内容。”

  GoPro 沉浸式媒体解决方案高级总监 Alexandre Jenny;

在本文中,您将了解 GoPro Fusion 软件的某些功能,如图像稳定、图像拼接和 OverCapture,并深入了解与英特尔核心视觉计算事业部共同执行的 CPU 和图形处理单元 (GPU) 优化将如何更好地平衡计算负载。

laptop and logos for plugins
图 1.GoPro Fusion* V1.2 软件包括面向 Adobe Premiere Pro* 和 Adobe After Effects* 的插件,用于编辑 360 度内容(对齐、重新构建和添加 2D 层)。

关于系统

GoPro 在捕获高质量运动视频领域保持着长期的领先地位,新推出的 <a data-cke-saved-href="http://www.gopro.com/fusion" href="http://www.gopro.com/fusion" _blank"="" target="_blank">GoPro Fusion 相机提供了更多功能。强大的双镜头系统是捕获精彩内容的重要设备,可以每秒 30 帧 (fps) 的速度创建 5.2K (5120 × 2560) 分辨率视频。

GoPro Fusion* V1.2 camera
图 2.全新 GoPro Fusion* 拥有两个镜头,可捕获 360 度运动视频。

视频分辨率的上升意味着需要更多处理能力,才能将原始片段转换为可观看的视频,英特尔与 GoPro Fusion Studio* 的合作使情况出现了转机。具体的步骤包括将来自两个来源的图像拼接在一起、提取所需的 1080p 视图或全 5.2K 视频流、编辑、渲染、压缩与上传共享。如果并未对软件进行优化,使其共享内核与 GPU 之间的负载,就算最新的 PC 系统也难以完成这些任务。

“如果您想处理最高分辨率的视频,在使用两到三年的 PC 上执行任何操作都将是天方夜谭。”

  英特尔客户经理 Jean-Pierre Navarro

例如,拼接有助于平衡 CPU 和 GPU 的使用。取决于拼接的质量以及稳定与视差校正的应用(使用 D.WARP 算法,如下所述),您的 CPU 和 GPU 将面临不同级别的压力。

幸运的是,英特尔与 GoPro* 携手帮助配备正确系统的用户更快速、轻松地发布视频。利用英特尔® 快速视频同步对两个输入视频进行解码,性能测试显示,使用英特尔® 图形技术的笔记本电脑的性能得到了显著提升。

用户回到家打开家用 PC 后,他们可利用 Adobe After Effects*、MAGIX Movie Edit Pro* 等其他软件应用的插件来执行高级视频编辑。如欲了解 GoPro Fusion 免费插件如何与 Adobe Premiere Pro* 进行交互,请观看本视频。访问此处获取GoPro Fusion VR 插件

面向严苛用户的严格规格

GoPro Fusion 相机前后方各配备了一个镜头,它们的位置稍微错开;每个镜头将接近 4K 分辨率的 JPEG、MP4 和 RAW 格式视频录制到不同的 microSD、microSDHC 或 microSDXC 卡上。通过将圆形图像周围的重叠与空白空间投射到矩形图像传感器,两个来源可整合为一个 5.2K 360 视频。GoPro 建议采用相同的 Class 10 或更高的内存卡,每个插槽的最大容量为 128 GB。

输出编解码器选项包括将片段缩小为 4K 的 H.264、对 CPU 要求严苛的 CineForm 422 和面向 5.2K 的 Apple ProRes 422。可用的预设针对不同的用途(编辑、Facebook*、Vimeo* 和 YouTube*)调整输出。提供 5.2K、4K、3K 和 2K 几种不同的视频分辨率选项。用户还可以选择立体声或 360 度定向音频。

显然,对于想要生成与上传最优质运动视频的用户,消费级规格无法满足他们处理原始视频的需求。他们需要大容量 RAM 和硬盘。拼接的 5.2K 分辨率 CineForm 422 片段每分钟占用约 4.5 GB 空间。即使 1800 万像素分辨率的静态图像也会占用大量空间。

360 度剪辑的渲染速度主要取决于 PC 的性能。用户亲自对软件进行基准测试,并将结果发布到社交媒体。一位用户评论道,他们在 2011 MacBook* Pro 上处理 5 分钟 5.2K 剪辑耗时 7 个多小时。升级后,所需的时间大幅缩短。

screenshot of two twitter quotes
GoPro 沉浸式媒体解决方案高级总监 Alexandre Jenny

英特尔公司的 Navarro 指出,GoPro 与英特尔之间的合作关系已经持续了十多年。Navarro 表示:“我们与 GoPro 开展了密切合作,以期开发 CPU 和 GPU 的功能。用户需要一个能快速、轻松捕获并发布视频的工作流。我们和 GoPro 共同了解这项工作的各个阶段。由于涉及的任务占用了大量的 CPU 资源,目前,对软件进行高度多线程化与矢量化;最新版 Fusion 软件还包括使用英特尔快速视频同步对输入视频进行解码的 GPU 优化。”

两个团队定期进行沟通,GoPro 负责寻找关于多核处理的技术信息,英特尔提供规格、培训与软件帮助。合作为 GoPro 带来了丰厚的回报 - 报告显示,从 alpha 阶段到最终发布的渲染速度得以显著提升。

优化也为客户带来了多个方面的优势,包括体验更快的用户界面以及在渲染时进行实时预览。为了充分利用优化,用户应满足 GoPro Fusion 建议的系统要求:

CPU - 最低配置:英特尔® 酷睿™ i5 处理器。推荐:英特尔® 酷睿™ i7 处理器或更高配置。

GPU - 最低配置:支持 OpenGL* 4.1 或更高版本的锐炬™ Pro 显卡 6200 集成显卡推荐:独立 GPU,如包含 4 GB RAM 的 AMD Radeon* R9 290、包含 4 GB RAM 的 NVIDIA GeForce* GTX 760 显卡或更高配置。

视频 RAM - 最低配置:4 GB RAM。

通过硬件与软件实现的视频稳定

视频录制的图像稳定指的是一系列减少录制移动图像时抖动的技术。如果不对平移和倾斜进行补偿,可见的帧对帧抖动将导致视频不适合分享,因此,在传感器将图像转换为数字信息前,通过实施技术来改造镜头本身或光路。

GoPro Fusion 的硬件采用了基于陀螺仪的标准稳定技术,确保了源视频的流畅度,支持用户将相机放置在任何角度。在 GoPro Fusion Studio 内,数字图像稳定是录制内容后的后处理步骤。它具有将更多计算能力引导至该问题的优势;可在特定帧前或帧后分析图像,广泛利用英特尔® 高级矢量扩展指令集 2 (英特尔® AVX2)和多颗内核。

产品评论人士对该软件特性予以肯定。《PC Magazine》声称 Fusion Studio 提供了“……极为流畅、稳定的视频片段,它甚至通过了我们的稳定性测试,将它放在摇晃不止的农用拖拉机引擎盖上,也能提供稳定的视频。我们对其他相机进行了相同的测试……提供了明显摇晃的结果。”

拼接图像创建了无缝的视图

由于两个偏置镜头可拍摄 360 度图像,即包含一切景象的圆形鱼眼视图(如下所示),因此,GoPro Fusion 用户能捕获超出他们实际需要的视频。

example of fish-eye shot
图 3.360 度捕获的典型“鱼眼”视图。

假设一位滑板爱好者在公园里为摄影做准备;用户可在场景的中间位置设置一个 GoPro Fusion 相机,无需在场景周围安装多台相机和三脚架,便可覆盖大部分区域,如下所示。

area covered by GoPro Fusion
图 4.一台 GoPro Fusion* 相机可覆盖广阔的区域。

这支持用户在三脚架周围表演特技,并捕获两个镜头上的运动。我们可以返回工作室,或者留在公园中,使用强大的笔记本电脑处理视频。首先必须在软件中将生成的视频“拼接”在一起,以删除重复数据并提供无缝的视图。这是一项计算密集型操作 - 软件解释像素、匹配着色并合并边缘,需要同步时间戳以及使用强大的算法。请参阅图 5 查看该步骤的说明。

example of two feeds stitched together
图 5.将两个高质量输入拼接成一个 360 度视频。

在许多场景中,拼接质量对于补偿两个镜头之间的视差和曝光差异至关重要,例如,当近距离物体出现在两个视图中或太阳高照时。如果遇上多云天气,亮度没有达到极限,将更好地平衡曝光,但是 GoPro 软件也可以应对晴天。

为了提高拼接质量,我们还利用处理能力来创建 GoPro 所谓的“天使视图”。搭配使用足够细的自拍杆时,Fusion 相机仍在视图中,而自拍杆从场景中移除。将两个输入图像拼接在一起时,将出现这种情况。基本上,天使视图从帧中自动擦除自拍杆,使相机看起来像是浮动在照片中或彻底删除(见图 6)。

GoPro 公司的 Alexandre Jenny 指出,将图像拼接在一起是一个高度计算密集型流程,需使用高级算法逐帧对准每张图像。他表示:“我们的专有 D.WARP 算法将鱼眼图像转换为球面空间……最大限度降低视觉伪影。”以时间一致的方式动态转换图像是 D.WARP 首创的内容感知拼接技术。

借助 D.WARP 校正图像扭曲后,利用混合算法合并多个源像素,以创建更平衡的图像。该阶段调整曝光和对比差异,同样需要大量计算资源。

GoPro 与英特尔软件工程师投入大量时间优化工作流的拼接部分。英特尔团队与 GoPro 的对口部门共同利用英特尔® 图形性能分析器(英特尔® GPA)监控器(一款支持英特尔 GPA 系统分析器的客户端-监控器应用),以简要了解软件平台使用并调试 CPU 与 GPU 并行处理。英特尔工程师还广泛使用英特尔® VTune™ 放大器对软件中的关键路径进行细致的分析,以改进多线程和英特尔 AVX2 的使用,并增强它的性能。

example of angel-view shot
图 6.“天使视图”指的是能够在拼接过程中消除摄像头和自拍杆。

OverCapture:创意编辑的艺术

获得完整的 360 度视图后,用户可选择 5.2K 视频片段并使用 GoPro VR 插件和所选的视频编辑器对其进行跟踪。

可视化 OverCapture。

options of grids for streams
图 7.用户可从 360 度视图中选择一个网格,并提取首选的视频流。

提取所需的某个部分或多个部分(如果视频编辑器想使用多个角度)后,利用 Adobe Premiere Pro 和 Adobe After Effects 合成视频。

英特尔公司的 Jean-Pierre Navarro 认为处理 GoPro 视频片段的任何人都想要最新版系统。他表示:“制作专业级视频的消费者很有可能希望升级他们的 PC,以充分利用他们的文件。如果您想处理最高分辨率的视频,在使用两到三年的 PC 上执行任何操作都将是天方夜谭。您将花费太多时间,例如,很难利用 OverCapture 做任何有趣的事。”

Navarro 表示,英特尔和 GoPro 工程师在各种外形的台式机和笔记本电脑中使用第六代、第七代和第八代 CPU 对注重系统的某些场景进行了测试。他表示:“如果您在台式机上比较第八代和第九代 CPU,将发现性能显著提升。”搭载英特尔集成显卡的笔记本电脑系统也将从优化工作中受益。“我们与 GoPro 合作优化他们的代码,推荐在 CPU 和 GPU 上优化工作流的方式,最终使客户受益无穷。”

GoPro Fusion Studio 可根据您想要达到的编辑效果,灵活地应用于笔记本电脑或台式机。使用 D.WARP 视差补偿以 5.2K 分辨率处理拼接问题、视频转码、稳定等炫酷特性需要更多计算资源,但是英特尔® 酷睿™ i7 处理器和英特尔® 酷睿™ i9 处理器产品家族提供了卓越性能,支持您在最佳条件下创建与改进项目,满足最高的标准。

有关编译器优化的更完整信息,请参阅优化通知