83

这个问题继续我的问题here(根据Mystical的建议):

C 代码循环性能


继续我的问题,当我使用打包指令而不是标量指令时,使用内在函数的代码看起来非常相似:

for(int i=0; i<size; i+=16) {
    y1 = _mm_load_ps(output[i]);
    …
    y4 = _mm_load_ps(output[i+12]);

    for(k=0; k<ksize; k++){
        for(l=0; l<ksize; l++){
            w  = _mm_set_ps1(weight[i+k+l]);

            x1 = _mm_load_ps(input[i+k+l]);
            y1 = _mm_add_ps(y1,_mm_mul_ps(w,x1));
            …
            x4 = _mm_load_ps(input[i+k+l+12]);
            y4 = _mm_add_ps(y4,_mm_mul_ps(w,x4));
        }
    }
    _mm_store_ps(&output[i],y1);
    …
    _mm_store_ps(&output[i+12],y4);
    }

该内核的测量性能约为每个周期 5.6 FP 操作,尽管我希望它恰好是标量版本性能的 4 倍,即每个周期 4.1,6=6,4 FP 操作。

考虑到权重因子的移动(感谢您指出),时间表如下所示:

日程

看起来时间表没有改变,尽管在movss将标量权重值移动到 XMM 寄存器然后用于shufps将这个标量值复制到整个向量中的操作之后有一条额外的指令。mulps考虑到从负载到浮点域的切换延迟,权重向量似乎已经准备好及时使用,因此这不应该产生任何额外的延迟。

这个内核中使用的movaps(对齐的、打包的移动)addpsmulps指令(用汇编代码检查)具有与其标量版本相同的延迟和吞吐量,因此这也不应该产生任何额外的延迟。

假设这个内核可以获得的最大性能是每个周期 6.4 FP ops 并且它以每个周期 5.6 FP ops 运行,是否有人知道每 8 个周期的这个额外周期花在哪里?


顺便说一下,这里是实际装配的样子:

…
Block x: 
  movapsx  (%rax,%rcx,4), %xmm0
  movapsx  0x10(%rax,%rcx,4), %xmm1
  movapsx  0x20(%rax,%rcx,4), %xmm2
  movapsx  0x30(%rax,%rcx,4), %xmm3
  movssl  (%rdx,%rcx,4), %xmm4
  inc %rcx
  shufps $0x0, %xmm4, %xmm4               {fill weight vector}
  cmp $0x32, %rcx 
  mulps %xmm4, %xmm0 
  mulps %xmm4, %xmm1
  mulps %xmm4, %xmm2 
  mulps %xmm3, %xmm4
  addps %xmm0, %xmm5 
  addps %xmm1, %xmm6 
  addps %xmm2, %xmm7 
  addps %xmm4, %xmm8 
  jl 0x401ad6 <Block x> 
…
4

1 回答 1

3

尝试在 Vtune 中使用 EMON 分析,或类似 oprof 之类的等效工具

EMON(事件监控)分析 => 类似于基于时间的工具,但它可以告诉您是什么性能事件导致了问题。虽然,您应该首先从基于时间的配置文件开始,看看是否有特定的指令跳出。(可能还有相关事件会告诉您该 IP 多久出现一次退休摊位。)

要使用 EMON 分析,您必须运行一系列事件,范围从“通常的嫌疑人”到...

在这里,我将从缓存未命中、对齐开始。我不知道您使用的处理器是否有针对 RF 端口限制的计数器——它应该有——但我很久以前就添加了 EMON 分析,而且我不知道它们通过添加适合微架构的事件来跟上的效果如何。

也有可能是前端,取指令,停顿。无论如何,这些指令中有多少字节?也有 EMON 事件。


回应 Nehalem VTune 看不到 L3 事件的评论:不正确。这是我要添加评论的内容,但不适合:

实际上,有 LL3 / L3$ / 所谓的 Uncore 的性能计数器。如果 VTune 不支持它们,我会感到非常惊讶。请参阅http://software.intel.com/sites/products/collat​​eral/hpc/vtune/performance_analysis_guide.pdf指向 VTune 和其他工具,例如 PTU。事实上,即使没有 LL3 事件,正如 David Levinthal 所说:“英特尔® 酷睿™ i7 处理器有一个‘延迟事件’,它与安腾® 处理器家族数据 EAR 事件非常相似。此事件对负载进行采样,记录在指令执行和数据实际传送之间循环。如果测量的延迟大于编程到 MSR 0x3f6 位 15:0 的最小延迟,则计数器递增。计数器溢出启动 PEBS 机制,并在下一个满足延迟阈值的事件,测量的延迟,虚拟或线性地址和数据源被复制到 PEBS 缓冲区中的 3 个附加寄存器中。因为虚拟地址被捕获到已知位置,采样驱动程序还可以执行虚拟到物理的转换并捕获物理地址。物理地址标识 NUMA 主位置,原则上允许分析缓存占用的详细信息。”他还在第 35 页指出了 VTune 事件,例如 L3 CACHE_HIT_UNCORE_HIT 和 L3 CACHE_MISS_REMOTE_DRAM。有时您需要查找数字代码并将它们编程到 VTune 的低级界面中,但我认为在这种情况下,它在漂亮的用户界面中是可见的。


好的,在http://software.intel.com/en-us/forums/showthread.php?t=77700&o=d&s=lr俄罗斯的一位 VTune 程序员(我认为)“解释”你不能在 Uncore 上采样事件。

他错了——例如,您可以只启用一个 CPU,然后进行有意义的采样。我也相信有能力在 L3 丢失数据返回 CPU 时对其进行标记。事实上,总体而言,L3 知道它将数据返回到哪个 CPU,因此您绝对可以进行采样。您可能不知道哪个超线程,但您可以再次禁用,进入单线程模式。

但看起来,这很常见,你必须在 VTune 周围工作,而不是使用它,才能做到这一点。

首先尝试延迟分析。这完全在 CPU 内部,VTune 的人不太可能把它搞砸了。

而且,我再说一遍,很可能你的问题出在核心,而不是 L3。所以 VTune 应该能够处理这个问题。


试试 Levinthal 的“循环会计”。

于 2012-04-17T22:14:07.827 回答