2

我正在尝试使用 MNIST 集（一组手写数字）训练分类器，并且我想实现随机梯度下降算法。这是我写的函数：

def Stochastic_gradient_descent(theta, y, X, alpha, nIter):
    costs = numpy.zeros([nIter, 1])
    N = y.size
    for i in range(nIter):
        random = randint(0,49999)
        theta -= alpha*(tls.h(theta, X)[random] - y[random])*X[[random],:].T
        costs[i] = (1/N)*tls.cost(theta, y, X)
    return theta, costs

alpha 是步长

h 是 transpose(theta).X 的 sigmoid 函数

X 是 50000*785，其中 50000 是训练集的大小，785 =（我的图像大小）+1（对于常数 theta0）

对于 100 次迭代 (nIter)，此函数在大约 9 秒内运行，因此对于 100*1*785 次乘法。我发现的分类器是令人满意的。我想将此运行时间与梯度下降算法进行比较，其中：

theta -= alpha * (1/N) * (numpy.dot((tls.h(theta, X) - y).T, X)).T

对于 100 次迭代 (nIter)，此函数在大约 12 秒内运行，因此对于 100*50000*785 次乘法， (h(theta,X)-y) 是 50000*1 向量。我发现的分类器也很令人满意，但我很惊讶，因为这段代码并不比第一个慢多少。我了解矢量化在点函数中起着重要作用，但我预计性能会更差。有没有办法提高我的随机梯度下降的性能？

谢谢您的帮助。

4

1 回答 1

1

就我而言，向量化是提高 SGD 性能的最简单方法。您还可以尝试其他一些事情。例如对 Cython 版本进行编码，使用几个样本的小批量（它们倾向于平均单个样本的“噪声”），或者您可以简单地尝试使用不同的停止标准：提前停止、足够接近零、阈值-停下来，...

如果您的目标是实现一些 ML 学习算法或优化功能以作为第一次接触来了解它，那么完美。继续工作。但是，如果您想以专业的方式工作，您应该使用已经优化（并且经过良好测试）的库。

像 Caffe、Torch、Theano、Neon (Nirvana) 等 PS 库......有一些非常复杂和神奇的优化，使它们能够在 GPU 支持之外获得一些非常高的性能。

在一些最流行的库中编码的 ImageNet 获胜者模型的基准： https ://github.com/soumith/convnet-benchmarks

于 2016-02-07T02:17:37.873 回答