1

我已经使用 valloc 分配了内存，比方说 [15*sizeof(double)] 的数组 A。现在我把它分成三块，我想将每一块（长度为 5）绑定到三个 NUMA 节点（比如 0、1 和 2）。目前，我正在执行以下操作：

double* A=(double*)valloc(15*sizeof(double));

piece=5; 
nodemask=1;
mbind(&A[0],piece*sizeof(double),MPOL_BIND,&nodemask,64,MPOL_MF_MOVE);

nodemask=2;
mbind(&A[5],piece*sizeof(double),MPOL_BIND,&nodemask,64,MPOL_MF_MOVE);

nodemask=4;
mbind(&A[10],piece*sizeof(double),MPOL_BIND,&nodemask,64,MPOL_MF_MOVE);

第一个问题是我做得对吗？例如，与页面大小正确对齐是否有任何问题？目前，数组 A 的大小为 15，它运行良好，但如果我将数组大小重置为 6156000 和piece=2052000，随后对 mbind 的三个调用以 &A[0]、&A[2052000] 和 &A[4104000 ] 然后我得到一个分段错误（有时它只是挂在那里）。为什么它适用于小尺寸但对于较大的尺寸会给我带来段错误？谢谢。

4

1 回答 1

1

为此，您需要处理至少为页面大小和页面对齐的内存块——这在大多数系统中意味着 4KB。在您的情况下，我怀疑页面被移动了两次（可能是三次），因为您调用mbind()了三次。

numa内存的定位方式是CPU socket 0的范围是0..X-1 MB，socket 1有X..2X-1，socket 3有2X-3X-1等等。当然，如果你坚持插槽 0 旁边有一个 4GB 的内存条，插槽 1 中有一个 16GB 的内存，那么分配不均匀。但原则仍然是，根据内存的实际位置，为每个套接字分配一大块内存。

由于内存的定位方式，您正在使用的内存的物理位置必须通过页面映射放置在线性（虚拟）地址空间中。

所以，对于大的内存“块”，可以移动它，但对于小块，它不会工作得很好——你当然不能将一个页面“拆分”成一个仿射到两个不同 CPU 的东西插座。

编辑：

要拆分数组，首先需要找到页面对齐的大小。

page_size = sysconf(_SC_PAGESIZE);

objs_per_page = page_size / sizeof(A[0]); 
// We should be an even number of "objects" per page. This checks that that 
// no object straddles a page-boundary
ASSERT(page_size % sizeof(A[0]));   

split_three = SIZE / 3; 

aligned_size = (split_three / objs_per_page) * objs_per_page;

remnant = SIZE - (aligned_size * 3);

piece = aligned_size;

mbind(&A[0],piece*sizeof(double),MPOL_BIND,&nodemask,64,MPOL_MF_MOVE);

mbind(&A[aligned_size],piece*sizeof(double),MPOL_BIND,&nodemask,64,MPOL_MF_MOVE);

mbind(&A[aligned_size*2 + remnant],piece*sizeof(double),MPOL_BIND,&nodemask,64,MPOL_MF_MOVE);

显然，您现在需要根据需要使用对齐的大小和剩余部分类似地拆分三个线程。

于 2013-01-25T19:12:18.897 回答