当前来讲，对于同质化的软件，其差异性在于性能，功能，用户体验等，在不久的将来，功耗可能成为重要特性之一。想象一下，在超级本普及之后，一个软件能支撑十个小时，而另外一个只能七个小时，那么用户尤其是没有外接电源的情况下必然更倾向于前者。

闲话短续，那么什么样的软件是节能的软件呢？通常可以从下面两个工作状态来看：

Idle workloads:

1.     处理器和平台能够长时间处于idle状态，避免软件的高频执行，比如统计等；

2.     应当尽可能的将任务联合，协调和分批处理；避免频繁的执行程序，最小化后台服务；

3.     软件不能够影响平台硬件组件进入到深一层的power state（往往是因为太多的中断所造成）。

4.     当系统idle的时候，使硬盘降速（spin down）。避免周期性的硬盘访问注册。

Active workload:

1.     提高计算的有效性和CPU的使用效率，目的是让系统进入到更长时间的idle状态；

2.     减少处理器的C-state切换的次数，频繁的C-state切换会导致能量的损耗；

3.     对于多核架构，最大化多核程序执行的并发性，这样可以是package 层次的资源和platform层次的资源得到更有效的管理；

4.     减少程序的执行频率，对于有特定cpu使用率的任务来说，让它运行更长的时间，更低的频率，更节能。

5.     程序中如果提高了timer分辨率对功耗有很大的影响，尽量使用大的timer的时间间隔，如果必须使用小的timer间隔，当任务完成之后，将其重置为大的值。

实际功耗分析中，package state, core state, c-state等都将是重要的考虑参数。从上面这些点中可以看到，所谓功耗优化，本质上无非是从平台的角度考虑性能优化。功耗的问题，不仅仅是CPU性能问题，而降低CPU的利用率则是第一步，这可以使用英特尔的Vtune工具。

（下载地址：http://software.intel.com/en-us/articles/intel-vtune-amplifier-xe/）

对于平台的功耗优化来说，还要考虑如何提高程序的并发性，如何减少外设（硬盘等）的电源的损耗，而这都是与软件的运行特性相关的。我们将在未来的博客中进一步分析如何才能写更节能的程序。

在第二代和第三代酷睿核中，Intel进一步增强了视觉计算能力:

• Intel Quick Sync Video 让消费者以更快的速度实现转换视频编码格式, 使得以往数小时才能完成的视频作业可以在数分钟之内完成；
• Intel® Clear Video HD Technology 让消费者随时能够体验栩栩如生的视觉盛宴，支持HD视频，呈献给消费者最生动最逼真的画面；
• Intel WirelessDisplay使你的笔记本桌面无线扩展到大屏电视；

等等。

实际上Intel实验室一直在进行着广泛而深入的图形图像方面研究，那么，让我们通过一些Demo来一窥这些科学家研究的魅力吧。

实际上Intel Lab是分布在全世界各地的：

      Intel lab的分布http://techresearch.intel.com/worldwidesites.aspx

其中与视觉相关的有：

• Intel Visual Computing Institute (IVCI)：与德国马普所和萨兰大学合作；
• Intel Science and Technology Center for Visual Computing(ISTC-VC):与斯坦福，加州伯克利，康奈尔，普林斯顿，华盛顿大学，哈佛，加州戴维斯，加州欧文合作;其中. 斯坦福 为虚拟研究所的中心，负责基础研究和新兴领域的协同，可以参看这个网页：http://visual.stanford.edu/
• scalable real-time simulation;
• perceiving people and places;
• content development;
• graphics and systems.

实际上前者成立于2009年，成为Intel视觉计算在欧洲的研究中心，后者在美国成立于2011年，进一步扩展了IVCI的研究领域，此外，两个中心实现了研究内容的协调和互补。ISTC-VC的工作可以细分为如下四个领域：

这里有ISTC-VC的科学家名单：http://visual.stanford.edu/people/

大部分是图形图像相关，而这其中目前以图形学为多，名单中也包括大名鼎鼎的Malik大牛：http://www.cs.berkeley.edu/~malik/

接下来，我们来看一些demo,来了解一下这些科学家的研究内容吧：

1. Intel西雅图实验室主要研究内容：http://ils.intel-research.net/uploads/downloadable/media/ILS_2010_brochure.pdf
2. Object Recognition 做到了一些实时的视频中物体识别：http://berkeley.intel-research.net/arahimi/c/projects/objrec/
3. Tracking 动作跟踪：http://berkeley.intel-research.net/arahimi/c/projects/learning/
4. 3D跟踪：http://berkeley.intel-research.net/arahimi/c/projects/drift/
5. 人脸替换：http://www.eecs.harvard.edu/~dale/
6. 这里有个更全面的demo：http://ils.intel-research.net/projects/rgbd

• CPU Time：对于单线程程序来说，CPU TIME指的是该线程在一个逻辑处理器（单核）上所花费的时间总量；对于多线程程序来说，CPU TIME指的是所有线程的CPU TIME之和；应用程序的CPU时间指的是该程序所有线程的CPU TIME之和。
• Wait Time：特定线程等待一定事件发生的时间，这些事件可以是同步等待，I/O等待。
• Elapsed time:该程序运行的平台时间，即：应用程序结束的时刻-应用程序起始时刻。

通过下面这个例子能够更好的说明几个概念之间的区别：

从这张图中，我们可以看到一共有三个线程，Thread1，Thread2，Thread3，其分别的起始时刻为0,1,2。则统计：

• Elapsed time: 程序共执行6秒，故Elapsed time为6sec；
• Cpu time:对于多线程程序，其cpu time为所有线程时间之和，故 cpu time=1+3+2+2=8sec;
• Wait time：等待时间，故wait time=2+3+2=7sec;

值得注意的是：Elapsed
time, Cpu time, Wait time这三者并没有大小关系，比如并不一定elapsed time就一定大于cpu time；

总结一下：

• 对于单线程程序，cpu time, wait time可能或等于elapsed time。
• 对于多线程程序，elapsed time有可能比另外二者大，也有可能小，关键在于到底有多少个线程在运行和这些线程的运行状态。

CI-system-introduction

1. 图像分割在医学图像处理，目标跟踪和图像识别方面有重要应用，经常是图像理解的第一步，在时间的压缩上有着巨大需求。 

2. 目标检测和目标跟踪在智能监控，车辆/导弹导航等方面有诸多应用，相关内容对实时性有着严格的界定和需求。 

3. 图像识别是计算机视觉方向当前最火的研究内容之一，由于经典的基于统计学习的框架需要处理海量数据，需要大规模的并行计算，离线训练的时间往往让一般企业难以承受。但是图像识别技术有着重要意义（参见下图），近些年涌现出大批相关应用和产品，比如各大搜索引擎公司都积极开发了基于内容的图像检索和识别的产品，而对于一般方案的海量数据训练时间，如果能够有效地利用分布式计算，算法优化，以及更好的提升X86架构CPU和GPU的联合运算都将是非常有价值的工作。

(一) 图像识别一般符合如下框架： 

        1. 识别正确率与图像数据和所建立的图像类别模型有关，前者即与所提取的image representation的判别性有关，进一步，与所提取的local description和encoding完的描述子的判别性有关；后者与所采用的数学模型有关，至于具体采用什么模型，与前者encoding完的数据在高维空间中的相对位置关系有关（Data Drive）。

        2.  图像理解是一个大规模的数据并行计算过程，用到了大量的矩阵运算。可以优化的地方:

        1)  local feature descriptor的获取，这方面效果最好的是SIFT描述子，是十年来效果最好的，但是效率低，提取一副720*576的图像的特征，可能需要几秒钟，当然提取的时间与图像梯度的复杂度正相关。09年，CVPR best demo 在这方面做了很漂亮的工作，他们将提取一个点的时间减少到2.5毫秒。参看demo（http://mi.eng.cam.ac.uk/~sjt59/hips.html）同时，该实验室也制作了iPhone 应用oMoby，识别效果我认为比Google goggles 效果还要好。提升特征描述的时间，是图像理解的第一步，对于将图像信息转化为计算机可识别信息至关重要。
        2) Local descriptorre-encoding 由于局部特征描述繁杂无序，难以通过训练得到有意义的模型。通过将其量化（建立码书模型）得到统一的，可分的多维空间中的点，以便于通过训练可以将这些模型区分开。

        3) 对于数学模型计算的优化。基本上所有的判别式模型都可以归结为是凸优化问题如支持向量机SVM，面临大量的数值计算。模型计算过程一般是离线过程。

        这里有一个很好的讲座：http://www.youtube.com/watch?v=g1tLjptuTBo（Kaiyu是NEC美国研究院的研究员，在09年的VOC中拿了classification组第一名。）

        重申一下，这里所介绍的最经典的基于统计学习的识别框架，近些年有一些科学家试图跳出这个套路，提出了deep learning等算法，可以参看文末给出的demo。   

        3.   图像理解相关领域进行优化的价值：

        1) 图像识别技术在03年以后有了突飞猛进的进展。Google 有相关产品，goggles，similar image search（两者均是基于图像内容的检索和识别），微软亚洲研究院中，图像识别是其非常重要的研究领域（如sun,jian所作的工作）, 其他的有：百度淘宝都有以图识图的产品。
        2) 这些图像产品都面临着计算效率的问题，即：图像特征提取慢，数学模型离线训练慢。这方面的优化具有非常有价值的意义。
        3) 优化过程是否可以考虑：强化OpenCV和IPP（这两者我估计在实际产品中用到的很多），CPU+GPU的联合优化（由于是大规模的矩阵运算，有效地利用GPU是可行之路，即：OpenCL），针对特定算法有效利用IA架构CPU优势，分布式计算等。

        4) 扩展：随着图像识别技术的发展，基于相关技术的视频序列识别近些年也得到了更多的应用和发展，比如行为识别等。由此而引发的，传统监控系统向智能监控系统的转变这两年也逐渐兴起，具体内容请看下面。 

(二)  智能监控中的优化

       所谓智能，是指让计算机具备一部分自主的分析功能。比如监控视频中的目标锁定（detection 可以是基于特征的检测，比如人脸检测，可以使基于行为的检测，比如犯罪分子有某种行为习惯），目标跟踪（tracking），目标识别（recognition首先将目标分割出来，然后利用前面所述的图像识别方法进行识别）。

        对于智能监控来说，实时性极为重要。但是detection, tracking, segmentation都是非常耗时的过程(比如采用单纯粒子滤波进行单目标跟踪，对于DVD图像，未优化的程序处理速度不超过15fps，使用效果更好的改进算法，速度可能降至5fps)，计算效率极大的阻碍了前沿技术在工程实际中的应用。

        目前智能监控在国内和世界范围内都是非常火的领域。国内海康威视，银江科技等都是监控领域炙手可热的公司，尤其是前者，他在这个领域世界排名大约第六，产品遍及国内各大城市街道，高速公路，大型工业企业。但是目前的主流监控市场是不断的提升监控的分辨率，智能算法很少被引入到实际产品中，很大一部分原因是因为算法的复杂性。尽管一些海归和博士建立了一些拥有自己算法的智能监控系统公司，比如莲花山研究院所办的公司在这方面所作的尝试。

        智能监控是一个非常有价值的领域，成长快，利润高。英特尔的优势在于OpenCV中已经开发了大量前沿视觉算法，这些在Intel的CPU上都可以进行优化。

(三)  <!--[endif]-->移动终端上的性能优化

        在移动终端上，图像和语音可能成为和打字同等重要的信息输入方法。比较火的领域有：图像识别，语音识别（如科大讯飞），增强现实（无数的APP），图像拼接（如微软的重量产品Kinect和photosynth(在bing上结合地图有重要应用)）等领域，这些都是与计算能力十分相关的内容，而其本质上也是大规模的矩阵运算，如果能有效地利用OpenCV, Ipp, Intel数学运算库和利用好CPU-GPU的联合运算，都会对性能和功耗有比较大的提升。 

<!--[if !supportLists]-->(四)  <!--[endif]-->其他

视觉识别一般分为图像层次和视频序列的识别；前者在一些大的搜索引擎公司都有所涉及，后者主要集中于国外高校实验室和一些本领域的领军人物的创业型公司（比如莲花山研究院所作的将视觉理论所做的产业化工作，Zhu,chunsong是UCLA的professor，在弯曲评论上有个简单的对他的介绍或者可以到他的Lab网页查看）。国内本土的监控公司，很多也采取了和国内各大高校合作的方式。而实际上，某些基于视频的识别在实验室已经做到相当好的效果，面临的主要问题是：光照，角度形变，尺度，实时性等问题（其实人脸识别尽管已经发展到了相当成熟，仍然面临这个问题，比如无法区分照片中的人脸，光照变化大的时候正确率有较大的下降，甚至已经有人专门研究过什么情况下人脸识别会失效：http://ahprojects.com/art/cv-dazzle）

下面是几个关于有意思的demo:
        表情识别: http://www.youtube.com/watch?v=n8wJ8tjmnmU&feature=feedf
                        http://www.youtube.com/watch?v=QP3ihC78YO4
        匹配：      http://www.youtube.com/watch?v=k9vHdeCMRm0
        跟踪：      http://www.youtube.com/watch?v=LQt6gnLOxBw
                         http://ivs.see-soft.net/（包括火焰识别，目标跟踪等）
        内容识别：http://www.cs.nyu.edu/~yann/research/objreco/index.html 

    （对于基于内容的视觉认知来说，图像识别应用的更多一些，基于视频的识别做的比较好的demo是deep learning的，而实际上前不久微软在语音识别方面的进展也主要是基于deep learning：http://research.microsoft.com/en-us/news/features/speechrecognition-082911.aspx）

       此外，还有两个比较神奇的Demo:

      yi,ma老师的稀疏人脸识别： http://perception.csl.uiuc.edu/recognition/Robust_face.html   

      Michal Irani 的超分辨：http://www.wisdom.weizmann.ac.il/~vision/SingleImageSR.html 

1. 下载gstreamer最新的包gstreamer-0.10.32-6.9.i586.rpm ：

http://repo.meego.com/MeeGo/builds/1.2.0.90/1.2.0.90.8.20110712.5/repos/oss/ia32/packages/i586/

gstreamer 5.1中gst debug log被disable掉了，需要安装6.9才行
2. 查询系统已经安装的gstreamer包，并卸载：
rpm -qa |grep gstreamer
rpm -e --nodeps gstreamerxxxx.
3. 安装最新gstreamer包：
rpm –ivh gstreamer-0.10.32-6.9.i586.rpm
4. 设置输出参数
export GST_DEBUG=3
5. 在终端里启动videoplayer:
meego-qml-launcher --fullscreen --opengl --app meego-tk-videoplayer --cmd -normal-log >tmp.log 2>&1
生成的Log可以用vim打开，并拷贝到PC上处理，工具可以使用Notepad++或ultraEdit。
注意：安装软件包可以在在ctrl+alt+f1下用root权限删除/安装 rpm包，但是启动videoplayer需要使用app的那个终端在meego用户权限下操作。
6. 计算播放性能，在log中：
Debug: [ 111 :][ "18:15:08.594" ] "onPositionChanged : 29917"
Debug: [ 112 :][ "18:15:09.594" ] "onPositionChanged : 30912"
GST_EVENT gstevent.c:847:gst_event_new_qos:[00m creating qos proportion 1.623329, diff 1147552000, timestamp 0:00:17.083306000
其中：
Timestampe：某一帧图像在时间序列中的位置；
onPositionChanged：时间轴，每一秒钟移动一次；
综上所述：
计算平均帧率 = (all frames)/all time
视频流畅度 = Var(abs(F_Video-F_Pad))
平均丢帧率= (∑(F_Video-F_pad))/(all frames)
其中：F_Video视频实际帧率，用Mediainfo获得，F_pad为实际帧率，通过Log计算得到;
丢帧率和实际帧率可以通过曲线和数字量化和可视化，工具可以使用Excel或SciLab等。

2. Meego软件开发测试
2.1. 从meego 开发流程看测试流程
Meego开发流程：

测试主要发生在Develop Debug阶段，包括单元测试和系统测试。一般经验是在开发过程中伴随单元测试，系统集成完之后进行系统测试，从持续集成观点看，鼓励快速集成，日/夜构建及测试。具体测试流程需要和腾讯及OTC商议确定。
2.2. 单元测试阶段
单元测试在软件开发阶段，由开发人员编写test case并执行测试。Meego官方推荐了22+种测试工具，简要介绍如下几个：
• Valgrind, Coverity, gprof, gcov
• Tdriver – Test automation driver for UI or functionality testing
• Test Runner – An automated test execution tool, takes XML test plan as input
• QTestlib
• QML性能检测工具
具体细节参见文档《Meego单元测试工具汇总》
测试出来的Bug使用bugzilla或Trac管理.
2.3. 系统测试阶段：
分为手动/半自动和自动化测试，Meego官方分别给出了这两种测试流程：
2.3.1. 手动/半自动化测试流程

主要流程包括：

1) 测试规划；
2) 执行测试：可以使用一些命令行工具，如：Testrunner 和 testrunner-lite 。
3) 生成测试报告；
2.3.2. 自动化测试流程

主要流程包括：
1) BOSS creates test automation enabled images from OBS projects (This part is not working yet. Currently OTS uses self made images.)
2) OTS downloads the image and installs it to a device under test
3) OTS executes tests found in the image
4) OTS sends results to qa-reports.meego.com

2.3.3. OTS简要介绍：
目标：提升自动化测试效率及设备上软件测试质量(可以在硬件上如N900执行)，其所提供服务和主要功能见下表：

主要功能 Distribution Load balancing Remote command running Hardware control Data Acquisition Data Analysis
所提供的服务 Fully Open Source Web server Extensible Architecture Interoperability

OTS工作流程：

2.3.4. Meego开发主要系统测试内容
1) Functionality quality characteristics
a) Functional (accuracy) testing:
b) Functional (suitability) testing：Testing shall also evaluate the application's or component's tolerance to faults in terms of handling unexpected input values, data, messages or triggers (so-called negative tests).
c) Technical Security Testing:
2) Efficiency quality characteristics
Frame rate，Latency，Response，Benchmark，Throughput，Memory，Load，etc.
3) Reliability quality characteristics
Robustness Testing, Recoverability Testing, Iterative, Long-lasting.
4) Usability quality characteristics
Test type User experience
5) Maintainability quality characteristics
Dynamic maintainability testing, Changeability testing,
6) Portability quality characteristics
Install ability testing, Compatibility testing, Adaptability testing, Replace ability testing

3. 总结
1. 开发阶段，应以开发和单元测试为主，后期可以配合其他app及系统开发执行持续集成，实现日/夜构建及测试。
2. 单元测试有开发人员实现和执行，可以借助于相应工具实现内存，功能，性能等测试。
3. 集成完之后，执行系统测试，如果可以借助于OTS则测试流程更加规范，但复杂度也远高于手工测试。

4. 参考：
[1] Development process for 3rd Party MeeGo Application Developers（PPT）
[2] http://wiki.meego.com/Quality/QA-tools
[3] http://www.youtube.com/user/meegoqatools
[4] http://wiki.meego.com/Quality/Test_management_overview
[5] http://wiki.meego.com/Quality/QA-tools/OTS/ExampleSetup
[6] http://wiki.meego.com/Quality/Test_areas_and_types