User-mode sampling and tracing collection

对于由VTune Amplifier启动的程序，user-mode sampling and tracing collector （简称软采样器）定时中断它，采集IP和调用顺序，存于一数据文件，最后被统计并报告热点。Intel Thread Checker在被分析程序的源代码或执行码插入侦测代码，截取锁、信号量等信息，但会产出较大的过载，VTune Amplifier中使用Pin技术（http://www.pintool.org/）从而提高了采集信息的效率。

对于非VTune Amplifier启动的程序，如后台服务，PMU计数器溢出导致sampling driver让该程序产生一个单步debugging异常，软采样器利用debug机制采集信息。软采样器每十毫秒采样一次的过载为5%CPU时间

本表告知三个User-mode sampling and tracing collection的子类，即Hotspot, Concurrency and Locks&Waits，以及它们分别采集哪些信息。

Hardware Event-based Sampling Collection

通过PMU计数器溢出导致中断，VTune Amplifier的Hardware event-based sampling collector(简称硬采样器)响应中断并采集当前系统中运行程序的IP，最后统计这些IP信息报告相关代码段。硬采样器每一毫秒采样一次的过载为2%CPU时间。

分析结束，产生一个新TAB，本例中r002ge, r代表result，002是分析序号，ge代表分析类型General Exploration。cc 代表Concurrency, lw代表Lock & Wait, hs代表Hotspots。TAB有

• Analysis Target：即设定的Project Properties
• Analysis Type：即设定的分析类型，及其参数
• Collection Log：收集、分析数据是否成功，及其相应信息。
• Summary: 收集到的信息的汇总报告
• Button-up或 Top-down: 各种具体显示数据的方法。

1．  Intel® VTune™ Performance Analyzer只能对整个系统进行采样。Amplifier XE增加了启动某个程序并只对其采样，和只对某个已运行程序采样。

2．  被采样的硬件事件种类数量受制于CPU的PMU(Performance Monitor Unit)，当采集超过4种数量时，老VTune会执行该程序多次，因而费时颇多。Amplifier XE能在一次执行中采集所有用户选定的事件。

3．  下图中Hardware Event数量能按Timeline展开，告知某种事件在何时频繁发生。在篮圈中下拉框里，用户可选定显示某种事件，老VTune只能告知整个运行时间内的某事件总数。在红圈中下拉框里，用户可选定显示某个模块，进程或线程。

上图的上半部，列出源代码，标明该锁的等待时间等，直观易懂。下半部则是timeline图解，不解释，估计难以理解。Threads区域列出程序中所有线程，本例中有4个线程。Thread Concurrency区域中列出当时用几个线程在工作。

当光标移到某根表示锁所有权传递（transition）的黄线，它被变成红色以突出，同时弹出窗口。窗口上部的数据表示哪两个线程中的那两行代码间传递锁，下部数据表示光标所在线程的当前的状态，本例中光标在第二行（Thread Ox109c），浅绿表示它在等待状态，本次等待从1.685s开始，等52.564秒。

上图光标移到第一行（WinMainCRTStartup 0x758）后，数据显示该线程从31.227s开始，等了0.017s。
按红圈提示button，则将程序运行完整过程压缩于该窗口，如这时你看到threads区域几乎被表示transition的黄线覆盖，那程序很可能有锁及等待造成的性能问题。

人们要求结果的复现性有以下几方面，
-同一程序，同一数据集，执行若干次的结果相同（近）
-同一代码，不同编译选项产生的程序，相同的数据集，执行的结果相同（近）
-同一代码，不同编译器产生的程序，相同的数据集，执行的结果相同（近）
-同一代码，相同的数据集，在不同架构的CPU上执行的结果相同（近）
最好运行速度也要快。这些要求有时是相互矛盾的。让我们先分析计算结果有差别的原因，注意这里我用了差别，而不是误差。

首先，通常十进制的浮点数用二进制数表示时就有误差，便有了‘原罪’。

其二，计算机运算是不符合结合律的，如A+B+C不一定等于A+(B+C)。当A= -B且C为极小值时，A+B+C=C，但A+(B+C)=0，极小值C和B相加时由于精度限制，被忽略了或者说表示B的有效位不能包含C的值；但A+B=0,再加C后，结果为C。当你多线程或多进程化程序运行时，原来的数据被切成几分，分给不同的进程/线程执行，于是原先的次序被打破，用MPI或OpenMP的程序都有引入的这类潜在的结果差别。

其三，X87 FPU是以80位（1位符号，15位指数，64位数值）、扩展双精度浮点数运算的。SIMD执行单元可能不是（查遍手册，未见答案，至少其数据是以64位存放的）。

其四，四舍五入，(a) 1.0001 0000 1000 0011 1001 0111E2 101以单精度数表示时需要四舍五入，因为其数值有25位，超过单精度浮点数的24位。根据系统设置，有四种模式可选，
-Round to nearest (even) --- 选精度误差最小的
-Round down (toward −∞) -- 选精度误差最小的, 但不大于原数
-Round up (toward +∞) --选精度误差最小的, 但不小于原数
-Round toward zero (Truncate) --选精度误差最小的, 但其绝对值不大于原数

其五，Flush-to-zero 和 denormal-to-zero. 如设定flush-to-zero, 当浮点运算发生underflow时，返回0值而不是像IEEE754要求的，返回非正规数据（denormalized data），这主要是为了提升性能。Denormal-to-zero是将非正规数据操作数置零，也是为性能。

 其六，不良的编程习惯。如变量不置初值等

我的同事将随后发如何巧用Intel编译器的选项避免结果差别，和如何发现导致结果差别的代码。

 Intel® 64 and IA-32 Architectures Optimization Reference Manual（248966）的54页列出了(Nehalem)issue port 和执行单元的对应关系。下表建立执行单元与port的关系

当你的程序大量使用那些只有一个issue port能发送的指令，要引起注意。当然Intel编译器会帮你优化，除非你直接写汇编。

性能损失的原因：AVX和现有的SSE指令可混合使用，但SSE指令只使用YMM的低128位（XMM），这样就要求AVX和SSE依次访问某个YMM时，对其高128位予以保护，在AVX后执行的SSE指令要由硬件帮助报存该YMM的高128位，在执行下一AVX恢复。这就导致了性能损失，尤其在循环内。

解决方法：

1。避免切换。只用VEX前缀的128bit和256bit指令(128bit或256bit的AVX)或只用SSE指令。

2。 将SSE指令转成128bit的AVX指令。英特尔编译器11.1版加/QaAVX选项后会将inline的汇编代码中SSE转成128bit的AVX指令。

3。 执行AVX后的SSE前，插入VZEROUPPER指令，它将所有YMM的高128位清零。VZEROALL则将所有YMM的256位清零。例如，在256bit的AVS代码调用包含传统SSE指令的库函数前，先执行VZEROUPPER避免延时。

在Pentium时代，浮点数转换成整形很耗时，且在一些不严谨的程序员的代码中比比皆是，最后Intel Compiler产生的新instruction(FIST/FISTP)帮助大家一劳永逸地，不知不觉地解决了。

总之，AVX/SSE切换影响面广，但解决方法却是简单的，用Intel Compiler V11.1重编译一次。

 增加了256-bit的SIMD寄存器，YMM0~YMM15, 其中低128-bit即 以前的XMM。

 新增了FMA(fused-multiply-add)等指令以加强浮点运算能力, 如VFMADD132PD ymm0, ymm1, ymm2/256将ymm0和ymm2/mem中双精度浮点数相乘和ymm1相加并存入ymm0中。两步并一步。该指令有相应的Intrinsic VFMADD132PD_m256d_mm234_fmadd_pd(_m256d a, _m256d b, _m256d c);  Intel Compiler V11.1已支持AVX指令集。

 新增了PCLMULQDQ等指令以加强对AES(Advanced Encryption Standard)算法支持，如PCLMULQDQ xmm1, xmm2/m128, imm8将xmm1的高或低64bit乘xmm2的高或低64bit并存回xmm1, imm8决定xmm1和xmm2的高低64bit。

 内存对齐，一个老话题。前几代CPU的性能或多或少得受它影响，AVX中 以VEX前缀编码的算术指令和内存访问指令在访问内存时更灵活，即可访问对齐的或未对齐数据，当然访问未对齐数据，会有惩罚(penalty)，具体多少参考未说，想必要小。 在Core i7访问跨行未对齐的数据的惩罚为4～5cycles，不跨行的为2cycles。

 顺便提一下，Nehalem的store-forwarding对数据对齐的要求也宽松了许多，起始地址不是数据长度整数倍的数据也可被forward了。

 ---呼吁---

若干SSE4.2和AVX的指令功能复杂，本身是针对某种特定运算模式（pattern）设计的，很难由编译器通过分析若干行高级语言代码后直接生成，故在很大程度上依靠一些资深软件工程师直接编写汇编。我想大家不妨将自己编写的，使用这些指令完成特定功能的代码封装成函数，上传共享以方便更多的人。

 例如在 http://softwarecommunity.intel.com/isn/downloads/intelavx/AES-Instructions-Set_WP.pdf 详细介绍了AVX中Advanced Encryption Standard (AES) Instructions Set，并附上例子代码。

 我在CSDN开专门的新帖http://topic.csdn.net/u/20091229/11/bb9065f7-d523-451a-9424-4a19dfb8c378.html ，欢迎上传。

Parallel Advisor识别的标识（ANNOTATE_*）是一个宏， 如
#define ANNOTATE_SITE_BEGIN { _ANNOTATE_CALL_0(BeginConcurrencySite) {
#define ANNOTATE_SITE_END } _ANNOTATE_CALL_0(EndConcurrencySite) }
编译后，Parallel Advisor启动该程序，这些宏(函数)便调用Parallel Advisor的库，记录相关信息。标识分四类
 ANNOTATE_SITE_*: 说明一个并行点的静态范围（代码段）
 ANNOTATE_TASK_*: 说明一个将并行的任务的静态范围（代码段），一个ANNOTATE_SITE中可有若干个ANNOTATE_TASK.
 ANNOTATE_LOCK*： 说明一个同步点。
 ANNOTATE_MEMORY_*： 说明一个用户自定义的，非标准库提供的内存操， 如非malloc/free和new/delete。 你应该把ANNOTATE_MEMORY_ALLOCATION(ptr,size)写在自定义的内存分配函数之前，把ANNOTATE_MEMORY_DEALLOCATION(ptr)写在自定义的内存释放函数之前，以帮助Parallel Advisor分析data race.

ANNOTATE_LOCK中的ANNOTATE_LOCKID_ACQUIRE(int)/ANNOTATE_LOCKID_RELEASE(int)和ANOOTATE_CRITICAL_BEGIN(int)/ANNOTATE_CRITICAL_END功能相近，不同在于ANNOTATE_LOCKID_*在获取和释放时都需以唯一的LOCKID，而ANNOTATE_CRITICAL_*在释放时不需要LOCKID。ANNOTATE_CRITITICAL_*用带有的destructor的C++类实现，即使从exception退出，LOCKID也会被正确释放。

关于嵌套任务的执行原则是在子任务被创建前的父任务中的代码会在子任务之前被执行，之后的代码则可能与子任务(嵌套任务)并行执行。
ANNOTATE_SITE_BEGIN
for (i=0; i<N; i++) {
ANNOTATE_TASK_BEGIN
func1a(i);
ANNOTATE_TASK_BEGIN
func2(i);
ANNOTATE_TASK_END
func1b(i);
ANNOTATE_TASK_END
}
ANNOTATE_SITE_END
例子中的func1a(i)不会与func2(i)或func1b(i)被并行执行，func2(i)和func1(i)会被并行。这里讨论的只是在同一个循环迭代中（loop iteration），在不同的循环迭代中, 如func1a(2)仍可能和func2(4)并行执行。

图示了Parallel Advisor的工作流程。首先，它分析该程序的运行，发现程序的热点，即耗时较多的部分。这时我们需要进一步分析该段代码，确定并行区域和任务。并行区域一般是一个循环体，任务是指将循环体内代码和数据被细分，未来被分配给多个线程同时运行的。这时我们并不需要直接改代码，而是以一种Parallel Advisor能识别的方法将并行区域和任务标识出来。
其次，Parallel Advisor运行和分析新代码，找到数据竞争访问（Data Race）的错误。同样我们也无需改动代码，只需标识对该数据进行保护。我们需要重复此步骤若干次，直至无错。
最后，将那些Parallel Advisor能识别的标识，用各种线程实现的方法逐个替换。

强调一下，前两步时无需改写代码。具体如何实现的，下次再讲。