java - 如何将多线程应用于反向传播神经网络训练？

Question

对于我的大学项目，我正在创建一个神经网络，可以对信用卡交易是否欺诈的可能性进行分类。我正在训练反向传播。我正在用 Java 写这个。我想应用多线程，因为我的电脑是四核 i7。花几个小时训练并看到我的大部分核心处于空闲状态，这让我很烦恼。

但是我如何将多线程应用于反向传播？反向传播通过网络向后调整错误来工作。必须先完成一层，然后才能继续另一层。有什么办法可以修改我的程序来做多核背景？

score 12 · Accepted Answer

首先不要使用反向传播。还有很多其他的选择。我建议尝试 RPROP（弹性传播）。对您的反向传播算法的修改不会那么大。您不需要指定学习率或动量。几乎就好像你对神经网络中的每个连接都有一个单独的、可变的学习率。

至于将多线程应用于反向传播。我刚刚写了一篇关于这个主题的文章。

基本上，我创建了许多线程并划分了训练数据，因此每个线程的数量几乎相等。我正在计算每个线程中的梯度，并在减少步骤中对它们求和。梯度如何应用于权重取决于所使用的传播训练算法，但权重更新是在关键部分完成的。

当训练样本比权重多得多时，代码在多线程梯度计算上花费的时间比临界区权重更新要多得多。

我在上面的链接中提供了一些性能结果。它确实加快了速度！

score 0 · Accepted Answer

要在 Java 中使用更多 CPU 内核，您可以在不更改代码的情况下为 JVM 尝试更多选项：

2 回答 2