0

如果我有一个将结构变量作为输入并操作它的元素的代码，我如何使用 CUDA 并行化它？

void BackpropagateLayer(NET* Net, LAYER* Upper, LAYER* Lower)
{
  INT  i,j;
  REAL Out, Err;

  for (i=1; i<=Lower->Units; i++) {
    Out = Lower->Output[i];
    Err = 0;
    for (j=1; j<=Upper->Units; j++) {
      Err += Upper->Weight[j][i] * Upper->Error[j];
    }
    Lower->Error[i] = Net->Gain * Out * (1-Out) * Err;
  }
}
Where NET and LAYER are structs defined as:
typedef struct {                     /* A LAYER OF A NET:                     */
        INT           Units;         /* - number of units in this layer       */
        REAL*         Output;        /* - output of ith unit                  */
        REAL*         Error;         /* - error term of ith unit              */
        REAL**        Weight;        /* - connection weights to ith unit      */
        REAL**        WeightSave;    /* - saved weights for stopped training  */
        REAL**        dWeight;       /* - last weight deltas for momentum     */
} LAYER;
typedef struct {                     /* A NET:                                */
        LAYER**       Layer;         /* - layers of this net                  */
        LAYER*        InputLayer;    /* - input layer                         */
        LAYER*        OutputLayer;   /* - output layer                        */
        REAL          Alpha;         /* - momentum factor                     */
        REAL          Eta;           /* - learning rate                       */
        REAL          Gain;          /* - gain of sigmoid function            */
        REAL          Error;         /* - total net error                     */
} NET;

我能想到的是首先将 2d 权重转换为 1d。然后将其发送到内核以获取产品或仅使用 CUBLAS 库。有什么建议么？

4

1 回答 1

1

如果您正在实现自己的神经网络库，那么对于简单的情况（具有完全连接或稀疏层的网络），我强烈建议使用 CUBLAS/CUSPARSE。在这种情况下，所有 3 个基本的线性运算都可以通过调用这些库来优雅地表达：

  1. 前馈：gemv（如果 mini-batch size > 1 则为gemm）
  2. 后置道具：gemv（如果 mini-batch size > 1 则为gemm），带有适当的转置标志。
  3. 权重更新：ger（如果 mini-batch size > 1，则为 gem）。

动量可以使用 3 个基本操作（或单独的内核以获得更好的性能）来表示。当你超越基本的东西并开始添加卷积层等东西时，事情会变得更加有趣。在神经网络中，你有大量的超参数，所以我建议你看看一些现有的实现如何设计你的库（比如convnet）。

于 2013-11-11T20:54:07.293 回答