dask - HyperbandCV 和其他增量搜索算法是否适用于没有 partial_fit 和 fir 管道的模型？

Question

我一直在深入研究 github 页面并阅读文档，但我并不完全了解 HyperbandCV 是否有助于加快超参数优化。

我正在使用 SKLearn 的管道功能。而且我还在测试不支持 partial_fit 的 LinearRegression() 等模型；它必须一次使用所有数据来拟合参数。这种情况下，HyperbandCV还能用吗？如果使用它，根据我的理解，如果 Pipeline 和所述模型都没有实现部分拟合，那么它到底优化了什么。在 Hyperband 的 api 中，它读取它需要实现 partial_fit 才能使用它。然而，在另一个文档中，它读到它可以替代 RandomizedSearchCV，因为它只花费更少的时间来训练低性能模型。

如果有人可以为我澄清这一点，那就太好了。

Answer 1

根据最近的https://blog.dask.org/2019/09/30/dask-hyperparam-opt，HyperbandSearchCV确实需要实施模型，partial_fit因为使用 HyperbandSearchCV 的目的是避免对整个数据进行训练以便做出决定模型是否好。这就是 HyperbandSearchCV 速度优势的来源。我对这篇博文的解释是，一旦模型完全训练好，HyperbandSearchCV 就不能再做任何事情了，就没有提前停止的事情要做了。然而，这对于 Dask 实现可能是正确的，而对于我应该重新阅读的原始论文中描述的 Hyperband 算法不一定是这样。