hadoop - 我可以使用 hadoop 训练中性网络吗？

Question

我想在 Hadoop 的帮助下训练一个神经网络。我们知道，在训练神经网络时，每个神经元的权重每次迭代都会改变，并且每次迭代都依赖于前一次。我是 Hadoop 新手，不太熟悉它提供的功能。我可以在addDependingJob()强调依赖关系的方法的帮助下链接迭代吗？或者可以使用其他技巧在 Hadoop 的帮助下实现 NN。

任何建议将不胜感激。

谢谢和最好的问候。

Answer 1

你可以自己写。如果您知道如何从头开始在单核中编写 Bacvk 传播​​。它可以很容易地迁移到 Mapreduce 方法。HDFS 缓存应该存储当前的神经元权重，每个映射作业应该在训练实例上评估它们的更新，然后 reduce 应该对所有这些更新求和并将它们放入缓存。