9

我正在为直接用 Tensorflow（不是 Keras 或 Tflearn）编写的代码搜索超参数调整包。你能提出一些建议吗？

4

6 回答 6

12

通常，您不需要将超参数优化逻辑与优化模型耦合（除非您的超参数优化逻辑特定于您正在训练的模型类型，在这种情况下您需要告诉我们更多信息）。有几个工具和包可用于该任务。这是一篇关于该主题的好论文，这是一篇更实用的博客文章，其中包含示例。

  • hyperopt实现了随机搜索和 parzen 估计树优化。
  • Scikit-Optimize实现了其他一些，包括高斯过程贝叶斯优化。
  • SigOpt是一种用于超参数优化的便捷服务（付费，尽管有免费层级和额外津贴），用于超参数优化。它基于 Yelp 的MOE，它是开源的（尽管发布的版本似乎更新不多），理论上可以单独使用，尽管需要一些额外的努力。
  • Spearmint也是一个常用的软件包，也是开源的，但不能免费用于商业目的（尽管您可以退回到限制较少的旧版本）。它看起来不错，但不是很活跃，并且可用版本与 Python 3 不兼容（即使已提交拉取请求以修复该问题）。
  • BayesOpt似乎是贝叶斯优化中的黄金标准，但它主要是 C++，而且 Python 接口看起来没有太多文档。

其中，我只是真正（即有一个真正的问题）将 hyperopt 与 TensorFlow 一起使用，并且没有花费太多精力。API 在某些方面有点奇怪，文档也不是很详尽，但它确实有效并且似乎正在积极开发中，可能会出现更多优化算法和适应（例如专门针对神经网络）。然而，正如之前链接的博客文章中所建议的那样，Scikit-Optimize 可能也一样好，而且 SigOpt 看起来很容易使用，如果它适合你的话。

于 2017-05-25T13:50:40.490 回答
4

我想在@jdehesa 的列表中再添加一个库，我已将其应用于我的研究，尤其是 tensorflow。它是超引擎，Apache 2.0 许可。

它还实现了高斯过程贝叶斯优化和其他一些技术，例如学习曲线预测，从而节省了大量时间。

于 2017-09-17T07:18:46.557 回答
2

您可以试用 Ray Tune，这是一个用于缩放超参数搜索的简单库。我主要将它用于 Tensorflow 模型训练，但它与框架无关 - 可与 PyTorch、Keras 等无缝协作。这是文档页面 - ray.readthedocs.io/en/latest/tune.html

您可以使用它在大约 10 行代码中运行最先进算法的分布式版本，例如HyperBand或贝叶斯优化。

作为一次运行 4 个并行评估的示例：

import ray
import ray.tune as tune
from ray.tune.hyperband import HyperBandScheduler


def train_model(config, reporter):  # add the reporter parameter
    model = build_tf_model(config["alpha"], config["beta"])
    loss = some_loss_function(model)
    optimizer = tf.AdamOptimizer(loss)

    for i in range(20):
        optimizer.step()
        stats = get_statistics()
        reporter(timesteps_total=i, 
                 mean_accuracy=stats["accuracy"])

ray.init(num_cpus=4)
tune.run(train_model,
    name="my_experiment",
    stop={"mean_accuracy": 100}, 
    config={ 
        "alpha": tune.grid_search([0.2, 0.4, 0.6]), 
        "beta": tune.grid_search([1, 2]) 
    },
    scheduler=HyperBandScheduler(reward_attr="mean_accuracy"))

如果要在集群上运行此脚本，也无需更改代码。

免责声明：我从事这个项目 - 如果您有任何反馈，请告诉我！

于 2018-04-04T07:47:50.297 回答
0

我发现 sci-kit optimize 用于超参数的贝叶斯优化非常简单，它适用于任何 tensorflow API（估计器、自定义估计器、核心、keras 等）

https://stackoverflow.com/a/53582472/2218905

于 2018-12-02T16:54:41.600 回答
0

您可以使用变分推理（贝叶斯）作为优化空间上的点云；超参数调整会好得多。张量流概率将是一种方法。

于 2019-03-14T03:46:44.767 回答
0

我不确定这是否也是您想要的参数，但您提到了 TensorFlow 超参数，所以我想我可以提出一些建议。

尝试克隆此存储库以获得所需的脚本；

git 克隆https://github.com/googlecodelabs/tensorflow-for-poets-2

在 Master 文件夹中，调用您的命令提示符并运行此行；

python -m scripts.retrain -h

获取可选参数列表。

来源：https ://codelabs.developers.google.com/codelabs/tensorflow-for-poets/#6

于 2018-08-23T09:58:49.903 回答