python - 实现 softmax 回归

Question

我正在尝试使用 softmax 回归制作神经网络。我正在使用以下回归公式：

假设我有一个 1000x100 的输入。换句话说，假设我有 1000 张图像，每个图像的尺寸为 10x10。现在，假设这些图像是来自 A、B、C、D、E、F、G、H、I、J 的字母的图像，我正试图预测这一点。我的设计如下：有 100 个输入（每个图像）和 10 个输出。

我有以下疑问。鉴于 n 是 x^n 中的上标，关于分子，我应该执行 w 的点积（w = 权重，其维度为 10x100 - 10 代表输出数量，100 代表输入数量）和单个x（单个图像）或所有想象的组合（1000x100）？我在 python 中编码，所以如果我做 w 和 x^T 的点积（10x100 点 100x1000），那么我不确定如何使它成为指数。我正在使用 numpy。我很难围绕这些矩阵来思考如何将它们提升为指数。

Answer 1

如果您正在训练神经网络，我们可能值得一试Theano库。它具有各种输出阈值函数，如tanh、softmax等，并允许在 GPU 上训练神经网络。

x^n 也是上述公式中最后一层的输出，而不是某个指数的输入。你不能把矩阵放在指数中。

您应该查看更多关于 softmax 回归的信息。这可能会有所帮助。