问题标签 [hyperparameters]

我对机器学习及其概念还很陌生，因此进行一些澄清会有所帮助。

我正在使用逻辑回归来预测二进制结果（0 或 1）。我正在使用 GridSearchCV 进行一些超参数调整以找到最佳C参数penalty。

• 为什么我会得到这么高的C？
• 高C意味着什么？

代码：

输出：

因此，使用 Catboost，您可以调整参数，也可以调整迭代。因此，对于迭代，您可以在打开过拟合检测器的情况下使用交叉验证进行调整。对于其余参数，您可以使用贝叶斯/Hyperopt/RandomSearch/GridSearch。我的问题是调整 Catboost 的顺序。我应该先调整迭代次数还是先调整其他参数。许多参数在某种程度上取决于迭代次数，但迭代次数也可能取决于参数集。那么知道哪种顺序是正确的方法吗？

在卷积神经网络 (CNN) 中，选择一个过滤器用于权重共享。例如，在下图中，选择了步幅（相邻神经元之间的距离）为 1 的 3x3 窗口。

所以我的问题是：如何选择窗口大小？如果我使用步幅为 2 的 4x4，它会造成多大的差异？提前非常感谢！

我正在写一篇文章，我专注于一个简单的问题——在存在标准正态或均匀噪声的情况下对大型数据集进行线性回归。我选择了来自 TensorFlow 的 Estimator API 作为建模框架。

我发现，实际上，当训练步骤的数量可以足够大时，超参数调整对于这样的机器学习问题并不重要。超参数是指训练数据流中的批量大小或时期数。

有没有正式证明的论文/文章？

我想在 Tensorflow 中实现超参数搜索，就像本视频中介绍的那样。不幸的是，我找不到任何关于它的教程。

我找到了一些使用它的代码，但我无法正确理解它。实施贝叶斯优化将是最好的，但我想先尝试网格或随机搜索。

我之前应该创建不同的图表吗？如何在多个图上进行训练，以及如何比较它们？

我想在 keras 中使用 fit_generator 作为输入对模型的参数进行网格搜索

我在堆栈溢出中找到下面的代码并更改它

1-但我不明白如何将 fit_generator 或 flow_from_directory 赋予 fit 函数（代码中的最后一行）

2-如何添加提前停止？

谢谢

I'm trying to use class weights in a Scikit learn SVM classifier using RandomizedSearchCV.

I have 4 classes. Now for the class_weight I would like to have random values between 0 and 1 for each of the four classes. It could be done with

But this is only for one class and the values are discrete and not just sampled between 0 and 1.

How can I solve this?

Last but not least, does it matter if I'm using values between 0 and 1 or between 1 and 10 (i.e. are the weights rescaled)?

And should the weights of all 4 classes sum up always to the same value (e.g. 1)?

我正在尝试使用 Keras 和 sklearn 优化我的 NN 的超参数。我正在结束 KerasClassifier（这是一个分类问题）。我正在尝试优化隐藏层的数量。我无法弄清楚如何使用 keras 来做到这一点（实际上我想知道如何设置函数 create_model 以最大化隐藏层的数量）有人可以帮我吗？

我的代码（只是重要的部分）：

我正在尝试使用 R 在 R 中拟合逻辑回归模型caret package。我做了以下事情：

但是，我不确定该模型的调整参数应该是什么，而且我很难找到它。我假设它是 C，因为 C 是sklearn. 目前，我收到以下错误 -

错误：调整参数网格应该有列参数

你对如何解决这个问题有什么建议吗？

在 TensorFlow 中调度超参数的方法是什么？

也就是说，为了可重复性，我想使用建议的学习率计划 {0: 0.1, 1: 1., 100: 0.01, 150: 0.001} 来实现 ResNet（你说出一个），或者仅在之后启用权重衰减最初的几个初始时期。

例如，tensorpack 提供如下选项：

如何在原生 TF 中做到这一点？