machine-learning - 在 Vowpal Wabbit 中使用 vw-hypersearch 进行多维超参数搜索

Question

vw-hypersearch是 Vowpal Wabbit 包装器，旨在优化 vw 模型中的超参数：正则化率、学习率和衰减、小批量、引导大小等。在 vw-hypersearch 的教程中有以下示例：

vw-hypersearch  1e-10  5e-4  vw  --l1 %  train.dat

这里%的意思是要优化的参数，1e-10 5e-4是搜索区间的下限和上限。该库使用黄金分割搜索方法来最小化迭代次数。

但是如果我想搜索多个超参数怎么办？从像这个github 问题讨论这样的来源，我得到一个提示，在 vw 中可能没有实现多维搜索方法。因此，唯一的出路是编写自己的特定任务优化器。我对吗？

Answer 1

现在这可以通过存储库中的模块vw-hyperopt.py来完成。/vowpal_wabbit/utl/

在此处查看我的拉取请求：https ://github.com/JohnLangford/vowpal_wabbit/pull/867

在不久的将来，这将得到更好的记录。