Intel IPP和TBB能够给OpenCV带来性能上的很大提升，那么如何在编译OpenCV的时候讲其打开呢？

OpenCV轻松进阶初级篇（二）编译OpenCV中已经介绍了使用CMake工具来产生各种编译器的项目文件，那么是否可以通过它来Enabled这些Features呢？

非常的运气，在CMake的配置键值对中，我们找到了IPP和TBB的身影，如图1所示。

图1

编译步骤：

1）  使用CMake打开OpenCV的文件

2）  点击Configure按钮产生所有的键值对列表

3）  选择WITH_IPP和WITH_TBB选项，如图1红色边框所示。

4）  点击Generate按钮产生相关项目文件

Intel Media SDK现在使用新的名字规则了！如果按照以前版本的名字规则，那么它对应是Intel Media SDK3.0 Gold版本。网友可以从http://software.intel.com/en-us/articles/vcsource-tools-media-sdk/?cid=sw:mediadev004
下载到最新版本。

图1

下载步骤：

1）  在图1中，选择红色方框中的下拉菜单“Intel Media SDK 2012”。

2）  点击“Download“按钮

现在的Intel Media SDK 2012实现了双跨：

1）  跨硬件平台，在无Intel
GPU支持的系统中，也能实现视音频的编解码工作。

2）  跨软件平台，在windows
vista和windows 7上都能够运行，并且完整支持它们的32和64bits。

Intel Media SDK 2012不仅仅实现了高性能的视音频解码，它的APIs也为视音频开发者提供了便捷。更加可贵的是，它提供了免费的SDK下载包，对于视音频开发者来说，也是福音。

跟之前版本相比， MediaSDK 2012中比较大的变化：
（1）bin目录下预先编译的二进制库文件和可执行程序， 全部到samples\_bin下， 只保留了软件实现的库文件

（2）tools下增加了一个新的用于测试系统media SDK 能力的工具: mediaSDK system analyzer. 运行该程序会产生一个报告，包含当前系统支持的media SDK 的版本， 图形显卡的类型及驱动的版本， 系统安装的media SDK 开发包的情况等。

（3）增加了一个新的模块， igfx_s3dcontrol, 用于S3D 显示和编程， 其中包含了编程所用的头文件和库文件。

（4）sample_decode中增加了对JPEG图片和视屏墙的支持

作者：英特尔：卢卷彬, Kiefer Kuah 巨人：余娜娜

下载PDF版本：使用英特尔GPA优化《兵王》游戏的性能

1. 介绍

《兵王》是由巨人网络公司旗下，上海巨贤公司耗时两年自主研发的一款未来战争MMORGP。《兵王》使用了优秀的3D引擎技术，在声光特效方面有极其优秀的表现。为了使《兵王》能够流畅的运行在更多玩家的机器上，我们在英特尔 集成显卡上对游戏进行了优化。英特尔集成显卡的出货量非常大，超过了60%（Q3’2011, Jon Peddie Research统计），其性能和特性也日益增强，是游戏开发者应该重点关注的对象。为了帮助游戏开发者在英特尔集成显卡上优化游戏性能，英特尔推出了一款出色的免费的性能分析工具，英特尔图形性能分析器(Graphics Performance Analyzers, 简称GPA)，不用修改游戏的代码，不用安装特殊的驱动版本就能够使用。游戏开发者可以利用这个工具清晰的了解自己的游戏在什么地方耗费了更多的时间，以进行有针对性的优化。GPA是我们在这次优化中使用的主要工具。

2. 优化准备

以下的分析和优化基于Intel HD Graphics 3000硬件平台，代号Sandybridge(简称SNB)，SNB拥有出色的图形性能，完全可以满足绝大多数网络游戏对性能的需求。我们使用的操作系统为Windows 7， 64位版本，GPA版本为4.2。

关于优化场景的选择，《兵王》支持大规模的群体作战，开发者对这种场景下的游戏性能特别关注，所以我们选择的是以下的一个群体战斗场景，其中有~100个玩家，并且有大量的武器和技能特效，游戏的性能在这个时候遇到很大的挑战，只有10fps左右，如图1所示：

图1，性能分析和优化的目标场景，有~100个玩家和坐骑，大量的技能特效，fps为10左右

3. GPA系统分析器HUD

GPA HUD可以从平台的角度分析游戏的性能，它提供了超过80个关于CPU，D3D runtime和GPU的性能指标，以及Null Hardware，Disable all draw calls， 1x1 ScissorRect， 2x2 Texture，Simple Pixel Shader等覆盖模式，收集这些性能指标和覆盖模式得到的数据，可以帮助我们分析出游戏的瓶颈所在。使用GPA HUD分析游戏的这个场景后我们得到以下的结果：

游戏在该场景下，FPS只能维持在10左右，此时的Null Hardware 和Null Driver覆盖模式分别只能达到14fps和20fps左右，也就是说显卡无限快的时候，游戏也只能跑到14fps，因此游戏在CPU上的性能消耗非常大。游戏有7800多个draw calls，这个一个非常大的数字。大量的draw calls，会导致游戏程序，D3D runtime以及显卡驱动等这些CPU上的计算量增加，由此导致性能非常的低。所以，游戏在这个场景中的优化重点，应该是合并小的画图操作，减少draw calls和State Changes的数量，这样可以同时减少CPU和GPU上的负担。

4. GPA帧分析器

GPA可以抓取游戏的一帧数据，然后使用帧分析器进行离线的详细分析。帧分析器打开一帧的过程，就相当于是重新发送指令让GPU渲染出这一帧。帧分析器界面主要包含上部分的柱状图(A)，它们代表的是游戏中按照调用顺序排列的Clear， Draw Primitive，StretchRect等，我们统称为ergs，可以通过设置X轴和Y轴来快速的定位最耗时的调用，比如X轴设为GPU Duration，Y轴设为GPU Breakdown。界面左边中间(B)是所有ergs的列表，左边下面(C)是Render Target，右边下面(D)是一系列Tab，包括性能数据，ergs的纹理，shader，state，API log等等。我们在目标场景中抓取了一帧数据，下图2是使用帧分析器打开这帧数据的界面：

图2，帧分析器打开场景的界面

从图2所示的帧分析器界面我们可以看出，渲染这一帧GPU花费的时间为71ms。游戏的渲染步骤是先生成阴影贴图（0-1198），然后是正常场景的渲染，最后是后处理以及UI部分。

阴影贴图使用了1198个draw calls，通过GPA帧分析器的纹理tab可以查看这些draw calls所使用的纹理，我们发现，游戏对某些特效也计算了阴影：

图3，生成阴影贴图的draw calls中，发现了特效的纹理，游戏对特效也计算了阴影

如图3所示，选中的那个纹理，以及相邻的纹理，都是特效相关的，而游戏设计之初并没有要求计算它们的阴影，可以移除掉。

另外，游戏花费了5526个draw calls来渲染场景中的所有物体，占了整个一帧的72.6%的时间。这5526个draw calls中，有超过4000个是渲染特效部分，它们占用了整个一帧44.9%的时间，这是优化的重点目标，如图4所示，在界面的render target那里可以看到所有的特效：

图4，渲染特效的draw calls有4079个，占用一帧44.9%的时间

通过查看和分析这些特效，我们发现每一个特效的draw call所渲染的东西都是非常小的，而且它们所使用纹理，多数都是小纹理，如下所示：

图5，特效的draw call都很小，10个draw calls只渲染了一小部分特效

上图5中，选中的这10个相邻的draw calls使用的都是这个128*128的蓝色纹理，所渲染的东西也是相邻的，我们可以考虑合并这几个draw calls。同时，考虑到纹理比较小，我们还可以合并相邻的特效纹理，这样可以减少SETTEXTURE的次数，也减少了CPU端的消耗。

坐骑和人物部分的渲染，也划分得很细，头发，脸孔，衣服，武器等都是由单独的draw call完成。这些也可以进行适当的合并，从而减少draw calls和state changes的数量。

5. 优化策略和结果

5.1 移除特效的阴影计算

如前面的图3所示，游戏中对特效也计算了实时阴影，一般来说，特效是不需要计算阴影的。移除掉这些draw calls后，生成阴影贴图 的draw calls从1198个减少到了860个， 这部分的GPU时间消耗从6.5ms减少到了4.86ms。

5.2 合并特效draw calls和纹理

由前面的分析我们知道，要优化游戏在该场景下的性能，最重要的就是减少CPU端的消耗，也就是要减少游戏的draw calls和State Changes的数量。场景中特效的draw calls数量是最多的，而且特效的draw calls都是非常小的，所以我们首先来合并特效的draw calls。

图6，优化前，使用了37个draw calls来完成右边的特效

图7，优化后，对特效的顶点和纹理都进行了合并，使用一个draw call就完成了类似的特效

从以上图6和图7的对比我们看到，合并优化后，渲染相同的特效，我们减少了draw calls的数量，从37减少到1，纹理也从4个合并到1个。整个一帧，特效的draw calls数量从4000多次减少到了700多次，set texture的次数从3764减少到2029次。整个特效部分的GPU时间从45ms减少到了21ms，提升非常明显！下图8为优化后的结果：

图8，优化后整个特效部分的draw call数量减少到了706个左右，特效的GPU时间从45ms减少到了21ms

5.3 合并人物和坐骑的渲染

游戏对人物的渲染区分很细，帽子，头发，衣服，裤子，鞋子，武器等都由独立的draw calls来完成，对坐骑也是由3个draw calls来完成的，虽然他们使用的是同样的纹理。以下以坐骑为例，将优化前需要3个draw calls完成的渲染，合并为一个draw call来完成。

图9，优化前，使用了3个draw calls来完成一个坐骑的渲染

图10，优化后，合并了坐骑的IB和VB，使用一个draw call就能完成坐骑的渲染

如上图9和图10所示，优化前需要用3个draw calls来完成一个坐骑的渲染，我们合并了坐骑的IB和VB，优化后只需要一个draw call就完成了这个坐骑的渲染。整个一帧有~100个坐骑，合并优化后，节省了~200个draw calls。

我们针对人物也进行了类似的合并优化，也节省了200个左右的draw calls。

5.4 移除重复的SETTEXTURE

为了减少CPU端的消耗，我们还应该尽量减少state changes的数量，在帧分析器对另外一个场景的分析中，我们发现，每个draw call都会设置自己所需要的所有纹理，而不管是否和上一个draw call使用了相同的纹理。

图11， 相邻的2个draw calls，使用一样的纹理，但是他们都重新设置了一次

如图11所示，柱状图中选中的临近的2个draw call，是在画地形部分，即使它们使用的是完全相同的纹理，它们也都重新调用了5次完整的的SETTEXTURE API。该场景中整个一帧总共有1837个SETTEXTURE API 调用。这不是有效率的做法，如果相邻的draw call使用的是同样的纹理，可以不用调用SETTEXTURE再次设置，这样可以减少state changes的数量，提高游戏性能。

以下是优化后的截图，移除掉了重复的不必要的SETTEXTURE API调用，如图12所示，第二个地形draw call本身已经没有调用set texture了。经过优化后，整个一帧所调用的SETTEXTURE API次数从1837次减少到了554次。

图12，优化后，如果纹理没有变化，则不重复设置了

经过以上几种优化，我们把《兵王》在这个场景下的draw calls数量从7839次减少到了3812次，SETTEXTURE API调用次数从3764次减少到了2029次。游戏帧率从10fps提升到了20fps左右，基本能够流畅的运行，达到了游戏开发者的期望。

6. 总结

本文介绍了使用GPA对《兵王》进行性能分析和优化的过程，从中我们可以看出，游戏客户端的性能优化并不难，我们所使用的优化方法也都很常见，但重要的是如何很快的找到这些游戏热点和瓶颈。在《兵王》的性能分析和优化过程中，GPA发挥了非常重要的作用，通过它我们很容易就发现了游戏的瓶颈，进行针对性的优化，游戏的性能得到了很大的提升。我们将继续使用GPA进一步优化游戏。

作者简介

卢卷彬 英特尔公司的应用工程师，他和国内几家大的游戏公司有着多年的合作，帮助他们在英特尔平台上优化游戏客户端的性能。

余娜娜 巨人前传技术部经理，参与开发过3DRPG《仙剑奇侠传三-问情篇》，3DMMORPG《巨人》、《兵王》。主要致力于3D引擎的研制开发，与Intel的几年合作中，极大提升了自主研发的3D引擎的特性，在效果提升的基础上，同屏人数也大大提升。

Kiefer Kuah 英特尔的软件工程师，他主要负责游戏在英特尔平台上的优化工作。

定义了DataType类

定义了Point_模板类，取代了之前版本的CvPoint、CvPoint2D32f

定义了Point3_模板类，取代了之前版本的CvPoint2D32f

定义了Size_模板类，取代了之前版本的CvSize和CvSize2D32f

定义了Rect_模板类，取代了之前版本的CvRect

RotatedRect模板类，

TermCriteria模板类，取代了之前的CvTermCriteria，这个类是作为迭代算法的终止条件的，这个类在参考手册里介绍的很简单，我查了些资料，这里介绍一下。该类变量需要3个参数，一个是类型，第二个参数为迭代的最大次数，最后一个是特定的阈值。类型有CV_TERMCRIT_ITER、CV_TERMCRIT_EPS、CV_TERMCRIT_ITER+CV_TERMCRIT_EPS，分别代表着迭代终止条件为达到最大迭代次数终止，迭代到阈值终止，或者两者都作为迭代终止条件。以上的宏对应的c++的版本分别为TermCriteria::COUNT、TermCriteria::EPS，这里的COUNT也可以写成MAX_ITER。

Matx模板类。Matx模板类是对Mat类的一个拓展，从Matx类有派生出Vec类，又Vec类又派生出Scalar_类，取代了CvScalar

定义了Range类指定了一个序列的一个连续的子序列

定义了Ptr类用来对老版本的数据结构进行指针操作，更安全有效，可以防止内存的不正常使用。

最最重要的定义了Mat类来表示矩阵，取代了之前的CvMat和lplImage。Mat结构支持的操作有：

构造析构函数Mat和~Mat

对=、MatExpr、( )、CvMat、IplImage进行了运算符重载

row、col函数

rowRange、colRange

类似matlab的运算操作diag、t、inv、mul、cross、dot、zeros、one、eye

复制转换变形clone、copyTo、convertTo、assignTo、setTo、reshape、create、addref

其中copyTo函数有个妙用，不但可以复制Mat，还可以通过mask提取出感兴趣的部分

数据的操作release、resize、reserve、push_back、pop_back、locateROI、adjustROI

Mat的信息total、isContinuous、elemSize、elemSize1、type、depth、channes、step1、size、empty

定位ptr、at、begin、end

还做了几个扩展类Mat_、NAryMatlterator、SparseMat、SparseMat_取代了之前的CvSparseMat。这些类的操作运算与Mat大同小异，类声明参考core的具体头文件

当然，新版本对老版本的数据结构和函数依然支持。

新版本还在这些结构里支持dft、dct变换，我这里讲一下我的新发现PCA类、SVD类

PCA类有构造函数PCA，运算符重载()，project，backProject。SVD类有构造函数SVD，运算符重载()，compute，solveZ，backSubst

这里介绍几个我使用过的实用函数：

inRange函数可以检查Matsrc的内容是否在Matlower、Matupper之间，输出结果是一个uchar型矩阵，1表示在两者之间，否则为0，值得注意的是，Matlower，Matupper也可以用Scalar的格式

bitwise_xxx函数对两个矩阵进行位运算，结果保存在第三个矩阵当中

mixChannels函数可以实现矩阵的指定通道复制到新矩阵的指定通道

总之，新版本支持更多的数学运算，还支持一些画图操作

core——定义了基本数据结构，包括最重要的Mat和一些其他的模块

imgproc——该模块包括了线性和非线性的图像滤波，图像的几何变换，颜色空间转换，直方图处理等等

video——该模块包括运动估计，背景分离，对象跟踪

calib3d——基本的多视角几何算法，单个立体摄像头标定，物体姿态估计，立体相似性算法，3D信息的重建

features2d——显著特征检测，描述，特征匹配

objdetect——物体检测和预定义好的分类器实例（比如人脸，眼睛，面部，人，车辆等等）

highgui——视频捕捉、图像和视频的编码解码、图形交互界面的接口

gpu——利用GPU对OpenCV模块进行加速算法

ml——机器学习模块（SVM，决策树，Boosting等等）

flann——Fast Library for Approximate Nearest Neighbors（FLANN）算法库

legacy——一些已经废弃的代码库，保留下来作为向下兼容

还有一些其他的模块，比如FLANN算法库、Google测试包、Python bingdings等等。

需要注意的几点：
1. Mat的拷贝只是复制了Mat的信息头，数据的指针也指向了被拷贝的数据地址，而没有真正新建一块内存来存放新的矩阵内容。这样带来的一个问题就是对其中一个Mat的数据操作就会对其他指向同一块数据的Mat产生灾难性的影响。

2.建立多维数组的格式是这样的
int sz[3] = {2, 2, 2};
Mat L(3, sz, CV_8UC(1), Scalar::all(0));

3.传统的lplImage格式也可直接转换为Mat格式
IplImage* img = cvLoadImage("greatwave.png", 1);
Mat mtx(img); // convert IplImage* -> Mat

如果想将新版本的Mat格式转换为老版本，则需要如下调用：
Mat I;
IplImage* pI = &I.operator IplImage();
CvMat* mI = &I.operator CvMat();

不过更安全的调用格式为：
Ptr piI = &I.operator IplImage();

4.Mat结构更加友好，很多操作更接近matlab的风格
5.也有Point2f，Point3f，vector等数据结构可以使用
6.RNG类可以产生随机数
7.实现颜色通道的分离使用函数split

1. 配置电脑的环境变量（Path变量）（需要注销才能生效），这里需要注意网上的教程又让增加一个OPENCV变量，值为D:\Program Files\OpenCV2.3.1\build(你安装的路径中的build目录)

2. 添加包含文件和库文件，这个和前几个版本方法类似，都是去工具->选项->VC目录添加build目录下的include目录及其子目录和你电脑对应版本的lib目录（选择x86 or x64，vc9 or vc10）

下面是第一个实例：

新建一个空项目，添加源文件如下：
#include
#include
#include

waitKey(0); // Wait for a keystroke in the window
return 0;
}
这段程序可以在你安装目录下的samples\cpp\tutorial_code\introduction\display_image找到，编译后，将图片test.jpg放到opencvtest.exe相同的目录中去，利用cmd命令行进入的可执行文件所在的目录，
运行opencvtest test.jpg

则会显示一个图片，第一个程序成功。如图

如果遇到找不到tbb_debug.dll文件的问题，参考这里http://www.opencv.org.cn/forum/viewtopic.php?p=52223，只是我的环境是vs2008，大同小异。祝你成功！

接下来我觉得应该好好研究一下OpenCV里的doc文件夹下的教程和使用手册，我个人觉得《学习OpenCV》这本书已经远远跟不上OpenCV发展的速度了

例如， 对于H264压缩的MP4， 只需运行如下命令即可“ffmpeg -i xxx.mp4 -vcodec copy -an -vbsf h264_mp4toannexb xxxx.h264”。
不过需要注意的是， H.264编码工具很多， 不同的编码工具编出来的H.264都会有细微的差别， 因此上面的命令不保证对所有的H.264有效。

至于mpeg2或VC-1格式的码流， 网上的资源可能不是很丰富， 大家完全可以用sample_decode将H.264解码为YUV， 然后用sample_encode将YUV编码成mpeg2 或者VC-1。

从http://ffmpeg.zeranoe.com/builds/可以下载windows版本的ffmpeg 程序。