首页 文章

MPI接收和发送特征压缩稀疏矩阵

提问于
浏览
2

发送和接收使用特征库定义的稀疏矩阵的最佳(最快)方法是什么?

目前,我正在创建一个值,行和列向量(来自预定义的稀疏矩阵),仅使用非零元素并逐个发送/接收这3个向量 . 这些向量是简单的std :: vector

if (0 == myrank) {
    Sz.insert(0,0) = 0.5;       Sz.insert(1,1) = -0.5;

    //------ preparing to send ----------
    shape[0] = Sz.rows();
    shape[1] = Sz.cols();
    int size=Sz.nonZeros();
    val.resize(size); inner.resize(size); outer.resize(size);
    cout << "val-size = "<< val.size() << endl;
    int counter=0;
    for (int k=0; k<Sz.outerSize(); ++k) {
        for (CrsMatrixType::InnerIterator it(Sz,k); it; ++it)  {
            val[counter]=it.value();
            inner[counter]=it.col();
            outer[counter]=it.row();
            counter++;
        }
    }
    assert(counter==size);
    MPI_Send(&shape[0],2,MPI_INT,1, 100, MPI_COMM_WORLD);
    MPI_Send(&size,1,MPI_INT,1, 101, MPI_COMM_WORLD);
    MPI_Send(&val[0],size,MPI_DOUBLE,1, 102, MPI_COMM_WORLD);
    MPI_Send(&inner[0],size,MPI_INT,1, 103, MPI_COMM_WORLD);
    MPI_Send(&outer[0],size,MPI_INT,1, 104, MPI_COMM_WORLD);


}

后来,我收到他们使用

if (1 == myrank) {

    //------ preparing to receive ----------
    shape.resize(2);
    int size;
    MPI_Recv(&shape[0],2,MPI_INT,0, 100, MPI_COMM_WORLD, &status);
    MPI_Recv(&size,1,MPI_INT,0, 101, MPI_COMM_WORLD, &status);

    val.resize(size); inner.resize(size); outer.resize(size);
    MPI_Recv(&val[0],size,MPI_DOUBLE,0, 102, MPI_COMM_WORLD, &status);
    MPI_Recv(&inner[0],size,MPI_INT,0, 103, MPI_COMM_WORLD, &status);
    MPI_Recv(&outer[0],size,MPI_INT,0, 104, MPI_COMM_WORLD, &status);


    Sz.resize(shape[0],shape[1]);
    Sz.reserve(size); // allocate room for nonzero elements only.
    for (int k=0; k<Sz.outerSize(); ++k) {
        Sz.coeffRef(inner[k],outer[k]) = val[k];
    }

    cout << "my RANK " << myrank << endl;
    cout << Sz << endl;
}

并将它们添加到秩1的稀疏矩阵中 .

有没有更好的方法来做到这一点?谢谢 .

1 回答

  • 2

    我通常建议使用压缩形式来传输稀疏矩阵 . 并且无需将值复制到临时 std::vector 中 .

    void sendSparseEigen(const Ref<const SparseMatrix<double>,StandardCompressedFormat>& mat) {
        int rows=mat.rows, cols=mat.cols, nnz=mat.nonZeros();
        assert(rows==mat.innerSize() && cols==mat.outerSize());
        assert(mat.outerIndexPtr()[cols]==nnz);
        int shape[3] = {rows, cols, nnz};
        MPI_Send(shape              ,3   ,MPI_INT,   1, 100, MPI_COMM_WORLD);
        MPI_Send(mat.valuePtr()     ,nnz ,MPI_DOUBLE,1, 101, MPI_COMM_WORLD);
        MPI_Send(mat.innerIndexPtr(),nnz ,MPI_INT,   1, 102, MPI_COMM_WORLD);
        MPI_Send(mat.outerIndexPtr(),cols,MPI_INT,   1, 103, MPI_COMM_WORLD);
    }
    
    void receiveSparseEigen(SparseMatrix<double> &out){
        int shape[3];
        MPI_Recv(shape,3,MPI_INT,0, 100, MPI_COMM_WORLD, &status);
        int rows=shape[0], cols=shape[1], nnz=shape[2];
        out.resize(rows, cols);
        out.reserve(nnz);
        MPI_Recv(out.valuePtr(),  nnz, MPI_DOUBLE,0, 101, MPI_COMM_WORLD, &status);
        MPI_Recv(out.innerIndexPtr(),nnz, MPI_INT,0, 102, MPI_COMM_WORLD, &status);
        MPI_Recv(out.outerIndexPtr(),cols,MPI_INT,0, 103, MPI_COMM_WORLD, &status);
        out.outerIndexPtr()[cols] = nnz;
    }
    

    免责声明:我不是MPI专家,我从您的示例中复制了所有与MPI相关的代码 - 显然您应该以某种方式处理MPI生成的所有可能的错误 . 并且上面的代码未经测试 .

相关问题