问题标签 [softmax]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
347 浏览

tensorflow - 如何使用 Tensorflow 从自动编码器中提取(绘制)隐藏单元/softmax(特征)

我是 ML 新手,我正在使用 tensorflow。
我想查看我的自动编码器的功能,但我不知道如何提取(查看)隐藏单元。
有人可以帮助我吗?

我制作了自己的数据集,但原始代码使用 MNIST: https ://jmetzen.github.io/2015-11-27/vae.html

我添加了一层隐藏单元以将其转换为 Stacked AE..(我不知道它是否被堆叠,但有效)

我的AE:https ://github.com/Snowedze/Autoencoder.git

0 投票
1 回答
1669 浏览

python - 使用 PyMC3 进行 Softmax 回归(多项 Logistic)

我正在尝试实现逻辑多项式回归(AKA softmax 回归)。在这个例子中,我试图对 iris 数据集进行分类

我在指定模型时遇到问题,我得到一个优化错误find_MAP()。如果我避免使用find_MAP(),如果我使用 aCategorical作为可能性,我会得到一个所有零向量的“样本”,或者如果我使用 ,则后验与先验完全相同Mutinomial(n=1, p=p)

0 投票
1 回答
313 浏览

python - 神经网络无法学习

我正在尝试用 python 和 numpy 实现一个神经网络。问题是当我尝试训练我的网络时,错误库存在 0.5 左右。它无法进一步学习。我尝试了 0.001 和 1 的学习率。我想我在反向传播期间做错了什么。但我还没有弄清楚什么是错的。

ps 我遇到了很多溢出问题,然后我开始使用 np.clip() 方法。

这是我的反向传播代码:

0 投票
1 回答
836 浏览

machine-learning - 具有softmax函数的基本Skip-bigram word2vec模型中每个单词的两个向量

我正在阅读原始 word2vec 论文:http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf

根据下式,每个词都有两个向量,一个用于预测上下文词作为中心词,另一个作为上下文词。对于前者,我们可以在每次迭代中使用梯度下降对其进行更新。但是如何更新后一个?哪个向量是最终模型中的最终向量? 在此处输入图像描述

0 投票
1 回答
1737 浏览

lua - 在 Torch 中将 Softmax 添加到 ResNet 模型

上下文:我正在尝试修改此 Facebook 的 ResNet 特征提取器脚本以对图像进行分类并打印 ImageNet 类标签。假设我在火炬中有模型:

这给了我每个班级的分数。我想获得前 5 个类别及其概率。我认为要将分数转换为概率,我应该首先使用 SoftMax 层。

所以我这样做:

但是当我运行它时,我得到:

/SpatialSoftMax.lua:38: 'resizeAs' 的参数 #1 错误(预期为torch.DoubleTensor,得到了torch.CudaTensor)

该模型对我来说看起来不错:(仅显示最后一层)

关于什么可能是错的任何想法?

0 投票
1 回答
265 浏览

python - 在目标函数本身内使用 softmax 层

这将是漫长而难以描述的,所以提前道歉。

我有一个常规的类似于 CNN 的网络,上面有标准的 MLP 层。在 MLP 之上,我也有一个 softmax 层,但是,与传统网络不同,它没有完全连接到下面的 MLP,它由子组组成。

为了进一步描述 softmax,它看起来像这样:

还有很多组。每个组都有一个独立于其他组的 softmax。所以在某种程度上,它是几个独立的分类(即使它实际上不是)。

我需要的是激活神经元的索引在组之间单调增加。例如,如果我激活了 A 组中的 Neuron5,我希望 B 组中激活的神经元 >=5。与B组和C组相同,依此类推..

这个包含所有组的所有神经元的 softmax 层实际上不是我的最后一层,有趣的是它是一个中间层。

为了实现这种单调性,我在损失函数中添加了另一个术语来惩罚非单调激活的神经元索引。这是一些代码:

softmax 层的代码及其输出:

估计的 yps 被传递给一个量化单调性的函数:

损失函数为:

现在我的问题是,当我不使用 SOME_OTHER_THINGS 作为常规指标时,我会得到ValueError: No gradients provided for any variable单调性指标。

当这样使用 softmax 层输出时,似乎没有定义梯度。

难道我做错了什么?任何帮助,将不胜感激。

0 投票
2 回答
7864 浏览

python - 试图计算 softmax 值,得到 AttributeError: 'list' object has no attribute 'T'

首先,这是我的代码:

现在看这个问题,我可以说 T 是我列表的转置。但是,我似乎得到了错误:

AttributeError:“列表”对象没有属性“T”

我不明白这里发生了什么。我对整个情况的理解是错误的吗?我正在尝试通过谷歌深度学习课程,我认为我可以通过实现程序来使用 Python,但我可能错了。我目前知道很多其他语言,如 C 和 Java,但新语法总是让我感到困惑。

0 投票
4 回答
18205 浏览

python - ValueError:在 Python 中使用序列设置数组元素

首先,这是我的代码:

错误出现在以下行:

y[index] = (num[index])/sum_n

我运行代码:

这里到底出了什么问题?

0 投票
1 回答
277 浏览

matlab - MATLAB中有GPU实现多类分类功能吗?

我有一个多类分类任务,我曾尝试在 Matlab 中使用“trainSoftmaxLayer”,但它是 CPU 实现版本,速度很慢。因此,我尝试阅读 GPU 选项的文档,例如传统神经网络中的 'trainSoftmaxLayer('useGPU', 'yes')',但没有任何相关选项。

0 投票
4 回答
19908 浏览

algorithm - 逻辑回归和softmax回归之间的区别

我知道逻辑回归适用于二元分类,softmax 回归适用于多类问题。如果我用相同的数据训练几个逻辑回归模型并将它们的结果归一化以获得多类分类器而不是使用一个 softmax 模型,会有什么不同吗?我假设结果是一样的。我能说:“所有的多类分类器都是二元分类器的级联结果”。(神经元网络除外)