问题标签 [sigmoid]

正如许多论文指出的那样，为了获得更好的 NN 学习曲线，最好以值与高斯曲线匹配的方式对数据集进行归一化。

这是否仅在我们使用 sigmoid 函数作为压缩函数时才适用？如果不是什么偏差最适合 tanh 挤压功能？

是否有使用自定义内核或 sigmoid 内核进行 2 类 SVM 分类的示例 python 代码？

下面的代码使用 3 类分类。如何将其修改为 2 类 SVM？

http://scikit-learn.org/stable/auto_examples/svm/plot_custom_kernel.html

我正在使用 Tensorflow Inception V3 模型进行迁移学习/再训练。我有 6 个标签。给定的图像只能是一种类型，即不需要多类检测。我有三个疑问：

1. 哪种激活功能最适合我的情况？目前tensorflow提供的retrain.py文件使用softmax？还有哪些可用的方法？（如乙状结肠等）

2. 我应该使用哪个优化器功能？（梯度下降，亚当..等）

3. 我想识别超出范围的图像，即如果用户输入随机图像，我的算法应该说它不属于所描述的类。目前有 6 个类，它提供了一个类作为确定的输出，但我不希望这样。有什么可能的解决方案？

此外，我们可以在 tensorflow 中调整的其他参数是什么。我的基线准确率是 94%，我正在寻找接近 99% 的东西。

我已经用 tensorflow 在 Keras 中实现了一个基本的 MLP，我正在尝试解决二进制分类问题。对于二进制分类，似乎 sigmoid 是推荐的激活函数，我不太明白为什么，以及 Keras 如何处理这个问题。

我理解 sigmoid 函数会产生介于 0 和 1 之间的值。我的理解是，对于使用 sigmoid 的分类问题，将有一个特定的阈值用于确定输入的类别（通常为 0.5）。在 Keras 中，我没有看到任何指定此阈值的方法，所以我认为它是在后端隐式完成的？如果是这种情况，Keras 是如何区分在二元分类问题或回归问题中使用 sigmoid 的？对于二元分类，我们需要一个二元值，但对于回归，我们需要一个标称值。我所看到的可能表明这是损失函数。这是否会告知 Keras 如何处理数据？

此外，假设 Keras 隐式应用阈值，为什么当我使用模型预测新数据时它会输出标称值？

例如：

给出：

[7.4706882e-02] [8.3481872e-01] [2.9314638e-04] [5.2297767e-03] [2.1608515e-01] ... [4.4894204e-03] [5.1120580e-05] [7.0263929e-04 ]

在预测获得二进制输出时，我可以自己应用一个阈值，但是为了正确分类，Keras 肯定必须这样做吗？也许Keras在训练模型时应用了一个阈值，但是当我用它来预测新值时，没有使用阈值，因为预测中没有使用损失函数？或者根本没有应用阈值，并且输出的标称值恰好与我的模型一起工作？我已经检查过 Keras 二进制分类示例中是否发生了这种情况，所以我认为我的代码没有出现任何错误，特别是因为它可以准确预测。

如果有人能解释这是如何工作的，我将不胜感激。

这是我的模型作为参考：

我正在尝试使用 tensorflow 自定义估计器创建一个简单的单层/单单元 nn，该估计器将能够计算逻辑 AND 运算，但是我在激活 sigmoid 时遇到了问题——我想设置阈值

这是我的代码

但是这会引发错误

我怎样才能解决这个问题？请帮忙..

我遇到的另一个问题 - 为什么 Tensorflow 没有内置的 sigmoid 激活阈值？这不是二进制分类（使用 sigmoid/tanh）最需要的东西之一吗？

机器学习中的激活函数是什么意思。我浏览了大多数文章和视频，每个人都陈述或将其与神经网络进行比较。我是机器学习的新手，对深度学习和神经网络不太熟悉。那么，谁能解释一下激活函数到底是什么？而不是用神经网络来解释。我在学习逻辑回归的 Sigmoid 函数时遇到了这种歧义。

我想使用你的神经网络来添加整数/浮点数，输出> 1 ou <0。我认为我不使用 sigmoid 函数，而是使用 ReLU 函数

我用 ReLU 方法在 python 和 numpy 我的神经网络中实现，我有这个：

问题是我的代码返回 0 而不是 5 为什么？感谢您的帮助

我一直在尝试使用我在 Matlab 中学习的 tensorflow 在 python 中创建单变量逻辑回归模型（Andrew ng 在 Coursera 上的 ML 课程）。模型收敛，但仅当初始 theta0 和 theta1 变量定义为小（大约 1.00）但如果初始值设置为 100.00 则将收敛值返回为 nan。当学习率增加时也会发生同样的事情。蟒蛇代码是

对所描述的代码行为和更正的解释，甚至是用于上述目的的更好的代码，将不胜感激。

在使用神经网络进行分类时，据说：

• 您通常希望使用 softmax 交叉熵输出，因为这为您提供了每个可能选项的概率。
• 在只有两个选项的常见情况下，您想使用 sigmoid，除了避免冗余输出 p 和 1-p 之外，这是一样的。

在 TensorFlow 中计算 softmax 交叉熵的方法似乎是这样的：

所以输出可以直接连接到最小化代码，这很好。

我的 sigmoid 输出代码同样基于各种教程和示例，大致如下：

我原以为两者在形式上应该相似，因为它们以几乎相同的方式完成相同的工作，但上面的代码片段看起来几乎完全不同。此外，sigmoid 版本显式地平方误差，而 softmax 则没有。（平方是在 softmax 的实现中发生的，还是发生了其他事情？）

以上其中一项是完全不正确的，还是有理由让它们完全不同？

我正在从头开始实现一个简单的神经网络，只是为了练习。对于二进制分类问题，我已经让它与 sigmoid、tanh 和 ReLU 激活一起正常工作。我现在正试图将它用于多类、互斥的问题。当然，softmax 是最好的选择。

不幸的是，我在理解如何在反向传播中实现 softmax、交叉熵损失和它们的导数时遇到了很多麻烦。即使在这里和 Cross Validated 上提出了几个问题，我也无法获得任何好的指导。

在我尝试进一步实现 softmax 之前，是否有可能以某种方式使用 sigmoid 来解决多类问题（我试图预测 n 个字符中的 1 个，它们被编码为 one-hot 向量）？如果是这样，哪个损失函数最好？我一直在对所有二元分类使用平方误差。