问题标签 [hyperparameters]

我很难使用 scikit learn 在 Keras 中实现网格搜索。基于本教程，我编写了以下代码：

它没有给我任何错误消息，但它只是永远运行下去，而不会打印出任何东西。我特意用很少的 epoch、很少的训练示例和很少的超参数来搜索它。如果没有网格搜索，一个 epoch 的运行速度非常快，所以我认为我不需要给它更多的时间。它根本没有做任何事情。

谁能指出我错过了什么？

非常感谢！

GridsearchCV() 有一个参数 cv，默认值为 3 表示它是 3 倍。有什么方法可以将 Gridsearch() 与保留验证方案一起使用。例如 80-20% 拆分？？？

我在https://github.com/maxim5/hyper-engine上找到了超引擎 python 工具 。

仅使用 mnist 的示例。 https://github.com/maxim5/hyper-engine/tree/master/hyperengine/examples。

我怎样才能像下面这个例子一样提供我自己的数据： https ://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/5_DataManagement/build_an_image_dataset.ipynb

Cloud ML Engine 上的超参数调整作业失败并显示错误消息：

我该如何解决？

好吧，我试图了解在算法中如何以及在哪个点应用 Kfold CV 和 GridSearchCV。此外，如果我理解正确 GridSearchCV 用于超参数调整，即参数的哪些值将给出最佳结果，并且 Kfold CV 用于更好地泛化，以便我们在不同的折叠上进行训练，因此如果数据是有序的，则减少偏差以某种特定的方式，因此增加了泛化性。现在的问题是，GridSearchCV 是否也使用 CV 参数进行交叉验证。那么为什么我们需要 Kfold CV，如果我们需要，是否在 GridSearchCV 之前进行呢？该过程的一点概述将非常有帮助。

我正在尝试调整一些参数并且搜索空间非常大。到目前为止，我有 5 个维度，它可能会增加到 10 个左右。问题是，如果我能弄清楚如何对它进行多处理，我认为我可以获得显着的加速，但我找不到任何好的方法来做它。我正在使用hyperopt，但我不知道如何让它使用超过 1 个核心。这是我没有所有无关内容的代码：

到目前为止，我有 4 个内核，但我基本上可以根据需要获得尽可能多的内核。我怎样才能hyperopt使用超过 1 个核心，或者是否有一个可以多进程的库？

除此之外还有什么HyperOpt可以支持超参数搜索的多处理吗？我知道HyperOpt可以配置使用MongoDB，但似乎很容易出错并在杂草中度过一个星期，有什么更受欢迎和有效的吗？

我正在尝试使用SMAC v3进行超参数优化。

我想用固定数量的目标函数 ( tae_runner ) 计算来限制优化过程，并在“小批量”模式下运行它：
首先，我用一些预算运行 SMAC，然后添加更多并使其继续它停止的地方。

我如何确定这个计算预算的合理大小？
让我在下面解释我的担忧：

我的目标函数相当昂贵，计算可能需要 1-10 秒甚至更长时间。因此，我决定使用小批量广告执行一些额外的步骤，这些步骤是针对我的问题的。

这段代码似乎有效。这是我在文档中找到的：

wallclock_limit、runco​​unt_limit和 tuner-timeout 分别用于控制最大 wallclock-time、算法调用次数和用于优化的 cpu-time。

据我从存储库中的代码了解，此代码的工作原理如下：

1) SMAC 包装 SMBO 并将 Scenario 和其他参数传递给它。

2）有主SMBO循环，不断产生新的挑战者（恰好有10K，包括交错随机数）：

并将它们与现任者 （迄今为止最好的配置）进行比较：

顺便说一句，如果我只设置了runco​​unt_limit ，这里的 time_bound 是多少？

3) 如果超出预算，则退出主 smbo 循环：

而其余的挑战者，在生成、成本预测和排序的地方，都被丢弃了。

我担心的是：如果 runco​​unt_limit 值太小，例如1或10类似的东西，可能会浪费大量资源来生成、排序和丢弃大量配置（5K）以及启动和停止的开销每个小批量的 smac。
另一方面，如果我将runco​​unt_limit设置为 10K 的倍数，它就不再是小批量了。

你能建议一种方法来确定这些批次的大小吗？

我已经建立了一个使用 training.py 进行训练的模型。我想通过改变传递的参数来调整超参数并从笔记本循环运行以下脚本。

python training.py --cuda --emsize 1500 --nhid 1500 --dropout 0.65 --epochs 10

例如：如果超参数是 dropout，我希望能够通过改变 dropout 值并绘制图形来循环运行脚本。

我正在使用 Tensorflow 中的贝叶斯优化为我的卷积神经网络 (CNN) 进行超参数优化。我收到了这个错误：

ResourceExhaustedError（有关回溯，请参见上文）：OOM 分配形状为 [4136,1,180,432] 的张量并通过分配器 GPU_0_bfc 在 /job:localhost/replica:0/task:0/device:GPU:0 上键入 float

我优化了这些超参数：

说资源枯竭。为什么是这样？

是不是因为我优化了太多的超参数？还是有一些尺寸不匹配？或者我是否分配了超出正确操作允许范围的超参数范围？