1

我一直在使用一段受内存密集限制的代码。我试图通过手动实现缓存阻塞、sw 预取、循环展开等在单个内核中对其进行优化。即使缓存阻塞显着提高了性能。但是，当我引入循环展开时，性能会大大下降。

我在所有测试用例中都使用带有编译器标志 -O2 和 -ipo 的 Intel icc 进行编译。

我的代码与此类似（3D 25 点模板）：

    void stencil_baseline (double *V, double *U, int dx, int dy, int dz, double c0, double c1,     double c2, double c3, double c4)
   {
   int i, j, k;

   for (k = 4; k < dz-4; k++) 
   {
    for (j = 4; j < dy-4; j++) 
    {
        //x-direction
            for (i = 4; i < dx-4; i++) 
        {
            U[k*dy*dx+j*dx+i] =  (c0 * (V[k*dy*dx+j*dx+i]) //center
                +  c1 * (V[k*dy*dx+j*dx+(i-1)] + V[k*dy*dx+j*dx+(i+1)])                 
                +  c2 * (V[k*dy*dx+j*dx+(i-2)] + V[k*dy*dx+j*dx+(i+2)])     
                +  c3 * (V[k*dy*dx+j*dx+(i-3)] + V[k*dy*dx+j*dx+(i+3)]) 
                +  c4 * (V[k*dy*dx+j*dx+(i-4)] + V[k*dy*dx+j*dx+(i+4)]));

        }

        //y-direction   
        for (i = 4; i < dx-4; i++) 
        {
            U[k*dy*dx+j*dx+i] += (c1 * (V[k*dy*dx+(j-1)*dx+i] + V[k*dy*dx+(j+1)*dx+i])
                + c2 * (V[k*dy*dx+(j-2)*dx+i] + V[k*dy*dx+(j+2)*dx+i])
                + c3 * (V[k*dy*dx+(j-3)*dx+i] + V[k*dy*dx+(j+3)*dx+i]) 
                + c4 * (V[k*dy*dx+(j-4)*dx+i] + V[k*dy*dx+(j+4)*dx+i]));
        }

        //z-direction
        for (i = 4; i < dx-4; i++) 
        {
            U[k*dy*dx+j*dx+i] += (c1 * (V[(k-1)*dy*dx+j*dx+i] + V[(k+1)*dy*dx+j*dx+i])
                + c2 * (V[(k-2)*dy*dx+j*dx+i] + V[(k+2)*dy*dx+j*dx+i])
                + c3 * (V[(k-3)*dy*dx+j*dx+i] + V[(k+3)*dy*dx+j*dx+i]) 
                + c4 * (V[(k-4)*dy*dx+j*dx+i] + V[(k+4)*dy*dx+j*dx+i]));

        }

    }
   }

 }

当我在最内层循环（维度 i）上进行循环展开并分别以展开因子 2、4、8 分别在 x、y、z 方向上展开时，我在所有 9 种情况下都会出现性能下降，即在方向 x 上展开 2，展开在 y 方向上展开 2，在 z 方向上展开 2，在 x 方向上展开 4 ... 等等。但是当我在最外面的循环（维度 k）上执行循环展开 8 倍（也有 2 和 4）时，我获得 v.good 性能改进，甚至比缓存阻塞更好。

我什至尝试使用 Intel Vtune 分析我的代码。这似乎是主要由于远程 DRAM 服务的 1.LLC 未命中和 2.LLC 负载未命中造成的瓶颈。

我无法理解为什么展开最内层最快的循环会导致性能下降，而展开最外层、最慢的维度会带来性能提升。然而，后一种情况的这种改进是当我使用 icc 编译时使用 -O2 和 -ipo 时。

我不确定如何解释这些统计数据。有人可以帮助阐明这一点。

4

1 回答 1

1

这强烈表明您正在通过展开导致指令缓存未命中，这是典型的。在现代硬件时代，自动展开不再意味着更快的代码。如果每个内部循环都适合一个缓存行，您将获得更好的性能。

您可以手动展开，以限制生成代码的大小，但这将需要检查生成的机器语言指令 - 及其位置 - 以确保您的循环位于单个缓存行内。高速缓存行通常为 64 字节长，并在 64 字节边界上对齐。

外循环没有相同的效果。无论展开级别如何，它们都可能位于指令缓存之外。展开这些会导致更少的分支，这就是您获得更好性能的原因。

“由远程 DRAM 服务的加载未命中”意味着您在一个 NUMA 节点上分配了内存，但现在您正在另一个节点上运行。答案是基于 NUMA 设置进程或线程亲和性。

在我使用的英特尔机器上，远程 DRAM 的读取时间几乎是本地 DRAM 的两倍。

于 2012-12-16T17:54:17.790 回答