0

我的目标是从进程 0 向进程 1 发送一个向量。然后，将其从进程 1 发送回进程 0。

我的实施有两个问题，

1-为什么从进程 1 发送回进程 0 比反之亦然花费更长的时间？第一个 send-recv 总共需要 ~1e-4 秒，第二个 send-recv 需要 ~1 秒。

2- 当我增加向量的大小时，出现以下错误。这个问题的原因是什么？

mpirun 注意到节点 server1 上 PID 为 11248 的进程等级 0 在信号 11 上退出（分段错误）。

我更新的 C++ 代码如下

#include <mpi.h>
#include <stdio.h>
#include <iostream>
#include <vector>
#include <boost/timer/timer.hpp>
#include <math.h>
using namespace std;
int main(int argc, char** argv) {
    // Initialize the MPI environment
    MPI_Init(NULL, NULL);
    MPI_Request request, request2,request3,request4;

    MPI_Status status;

    int world_size;
    MPI_Comm_size(MPI_COMM_WORLD, &world_size);

    int world_rank;
    MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);

    srand( world_rank );

    int n = 1e3;


    double *myvector = new double[n];
    if (world_rank==0){
        myvector[n-1] = 1;
    }
    MPI_Barrier (MPI_COMM_WORLD);

    if (world_rank==0){

        boost::timer::cpu_timer timer;

        MPI_Isend(myvector, n, MPI_DOUBLE , 1, 0, MPI_COMM_WORLD, &request);

        boost::timer::cpu_times elapsedTime1 = timer.elapsed();
        cout << "  Wallclock time on Process 1:"
                << elapsedTime1.wall / 1e9 << " (sec)" << endl;

        MPI_Irecv(myvector, n, MPI_DOUBLE, 1, 0, MPI_COMM_WORLD, &request4);
        MPI_Wait(&request4, &status);

        printf("Test if data is recieved from node 1: %1.0f\n",myvector[n-1]);

        boost::timer::cpu_times elapsedTime2 = timer.elapsed();
        cout <<"  Wallclock time on Process 1:"
                << elapsedTime2.wall / 1e9 << " (sec)" << endl;

    }else{
        boost::timer::cpu_timer timer;

        MPI_Irecv(myvector, n, MPI_DOUBLE, 0, 0, MPI_COMM_WORLD, &request2);
        MPI_Wait(&request2, &status);

        boost::timer::cpu_times elapsedTime1 = timer.elapsed();
                cout << "  Wallclock time on Process 2:"
                        << elapsedTime1.wall / 1e9 << " (sec)" << endl;

        printf("Test if data is recieved from node 0: %1.0f\n",myvector[n-1]);
        myvector[n-1] = 2;
        MPI_Isend(myvector, n, MPI_DOUBLE , 0, 0, MPI_COMM_WORLD, &request3);
        boost::timer::cpu_times elapsedTime2 = timer.elapsed();
                cout<< "  Wallclock time on Process 2:"
                        << elapsedTime1.wall / 1e9 << " (sec)" << endl;

    }

    MPI_Finalize();

}

输出为：进程 1:2.484e-05 (sec) 上的挂钟时间

进程 2 上的挂钟时间：0.000125325（秒）

测试是否从节点 0 收到数据：1

进程 2 上的挂钟时间：0.000125325（秒）

测试是否从节点 1 收到数据：2

进程 1:1.00133 上的挂钟时间（秒）

4

1 回答 1

1

时间差异

首先，您没有测量发送消息的时间。这就是为什么发布用于计时的实际代码至关重要的原因。

您测量了四次，对于两次发送，您只需将呼叫计时到MPI_Isend. 这是 API 调用的即时版本。顾名思义，它立即完成。时间与发送消息的实际时间无关。

对于接收操作，您测量MPI_Irecv和相应的MPI_Wait. 这是从开始接收到消息在本地可用之间的时间。这又与消息传输时间不同，因为它不考虑发布接收和相应发送之间的时间差。通常，您必须考虑延迟发送者和延迟接收者的情况。此外，即使对于阻塞发送操作，本地完成也不意味着已完成传输、远程完成甚至启动。

定时 MPI 传输很困难。

检查完成

仍然存在一个问题，为什么这段代码中的任何内容都需要一秒钟。除非您的网络使用IPoAC，否则这肯定不是一个明智的时机。可能的原因是您没有检查所有消息的完成情况。MPI 实现通常是单线程的，并且只能在相应的 API 调用期间进行通信。要使用即时消息，您必须定期调用MPI_Test*直到请求完成或使用MPI_Wait*.

我不知道您为什么首先选择使用即时 MPI 函数。如果您MPI_Wait在启动MPI_Isend/后立即调用MPI_Irecv，则不妨只调用MPI_Send/ MPI_Recv。您需要用于并发通信和计算的即时函数，以允许并发不规则通信模式，并避免在某些情况下出现死锁。如果您不需要立即函数，请改用阻塞函数。

段错误

虽然我无法重现，但我怀疑这是由于myvector两个同时运行的 MPI 操作使用相同的缓冲区 ( ) 造成的。不要那样做。要么使用单独的缓冲区，要么确保第一个操作完成。MPI_Isend通常 - 在将缓冲区传递给/之后，您不得以任何方式触摸缓冲区，MPI_Irecv直到您知道请求已通过MPI_Test*/完成MPI_Wait*。

附言

如果您认为需要立即操作以避免发送和接收时出现死锁，请考虑MPI_Sendrecv改为。

于 2016-12-10T16:13:51.303 回答