optuna - 如何将学习率与修剪相匹配？

Question

该问题的背景是通过study.optimize()启用默认修剪和学习率作为优化参数来优化神经网络训练的超参数（这个问题可以推广到其他超参数）。

高学习率最初可以产生良好的结果，最初基本上每个中间步骤都会降低损失，但会导致最终结果不佳。

低学习率可能会产生较差的初始结果，但会产生更好的最终值。

启用剪枝后，低学习率不会因为中间结果差而被剪枝吗？这意味着最终的最佳参数将被错误地选择？

如何解决？使用另一个修枝剪有帮助吗？谢谢！

Answer 1

我认为保护初始分数低但最终分数高的试验（如大器晚成）仍然是一个悬而未决的问题。正如您所提到的，现有的修剪器（例如，MedianPruner）倾向于修剪这种大器晚成的植物。

一种可能的解决方案可能是学习曲线预测，这是一项根据中间分数估计最终分数的任务。如果预测器成功估计了最终分数，我们可以创建一个修剪器来保护大器晚成。期待学习曲线预测的研究进展。