python - TPE（来自 Optuna）是否考虑试验次数？

Question

我正在使用 optuna 的 TPE 采样器来优化深度学习视觉模型的超参数。我想知道 optuna 是否根据试验次数调整搜索。

如果我训练 1000 次试验并停在 500 次，我可以看到很多参数没有被算法尝试。如果我减少 n_trials，TPE 的探索速度会更快（而且精度更低）吗？换句话说，在 500 处使用 n_step=1000 中断 optuna 与使用 n_trials = 500 并等到结束相同。

我对 TPE 的工作原理只有基本的了解。

谢谢。

Answer 1

如果我减少 n_trials，TPE 的探索速度会更快（并且更不精确）吗？

不。

...正在以 n_step=1000 在 500 处中断 optuna，与使用 n_trials = 500 并等待结束相同。

是的。

这是因为 TPE（来自 Optuna）不知道剩余（或总）试验的数量。