python - MXNET 与 Theano 体验

Question

我正在寻找做一些分布式计算。使用 GPU 进行机器学习？只是想知道是否有人有 MXNET 的经验（perf. vs Theano）

参考 http://www.cs.cmu.edu/~muli/file/mxnet-learning-sys.pdf

谢谢

Answer 1

我对两者都有很多经验（通过千层面mxnet和Theanokeras）

基准测试总是有偏见的，所以我不会对此发表评论，只是要注意所有框架都非常快。这里有几件事可以帮助您做出决定：

1. Theano与 python相比，mxnet类似于汇编。Theano 具有构建机器学习模型的低级原语，并且它本身没有定义任何层或优化器，您通常会将其与一些深度学习库一起使用，例如 Lasagne 或 Keras，而mxnet它是更高级别的。所以票价比较是mxnetvs Keras，而不是mxnetvs Theano。
2. mxnet是一个更新的库，其中的某些内容还没有那么完善，在线资源也比Theano.
3. Theano（以及因此 Lasagne 和 Keras）在第一次将模型运行到 C++ 和 Cuda 时编译模型，这非常慢。对于非常复杂的模型，例如展开的 LSTM，编译可能需要几分钟。与模型训练所需的时间（数小时到数周）相比，它通常很少，但在制作原型时非常烦人。

总体而言，如果您在这两个框架之间进行选择，我建议将 Theano + Keras 用于除循环或非常深的网络之外的所有内容，否则编译Theano将杀死您。

也调查一下TensorFlow。它（主观上）比 慢mxnet，但更成熟并且在线资源更多。