multithreading - 如何计算对远程 NUMA 内存节点的内存访问？

Question

在最近的 linux 分布式共享内存系统上运行的多线程应用程序中，是否有直接的方法来计算每个线程对远程（非本地）NUMA 内存节点的请求数？

我正在考虑使用 PAPI 来计算互连流量。这是要走的路吗？

在我的应用程序中，线程在其整个生命周期内都绑定到特定的内核或处理器。当应用程序开始时，内存是按页分配的，并以循环方式分布在所有可用的 NUMA 内存节点上。

谢谢您的回答。

Answer 1

如果您有权访问 VTune，则本地和远程 NUMA 节点访问由硬件计数器 OFFCORE_RESPONSE.ANY_DATA.OTHER_LOCAL_DRAM_0 计数，用于快速本地 NUMA 节点访问，OFFCORE_RESPONSE.ANY_DATA.REMOTE_DRAM_0 用于较慢的远程 NUMA 节点访问。

计数器在 VTune 中的显示方式：

计数器在两种情况下的外观：

NUMA 不愉快的代码：核心 0（NUMA 节点 0）增加 50 MB，驻留在 NUMA 节点 1 上：

NUMA 快乐代码：核心 0（NUMA 节点 0）递增 50 MB，驻留在 NUMA 节点 0 上：

Answer 2

我发现英特尔 PCM附带的 pcm-numa.x 工具非常有用。它告诉您每个核心访问本地或远程 NUMA 节点的次数。

Answer 3

我不确定这是否符合直截了当，我不知道什么是“分布式共享内存系统”，但是，无论如何，在普通 Linux 上，如果您可以访问源代码，您可能可以自己计算请求. 您可以使用我的“我可以从指针地址获取 NUMA 节点吗？”的答案。这里的问题是要弄清楚请求的内存在哪个节点上，并知道你的线程所在的节点来计算远程请求。这只会告诉您使用远程内存的频率，而不是当该内存不在本地缓存中并且必须获取时，所以它可能不是您想要的。

如果您想了解远程内存上的缓存未命中，请尝试将分析标签添加到您的问题中 - 它可能会吸引更多读者。如果有一个分析器可以区分本地内存未命中和远程内存未命中，我也很想知道。