4

我正在尝试将 Hydra 与 MLFlow 一起使用，因此我编写了最基本的脚本来查看它们是否一起工作（导入等）。两者都可以单独工作，但是放在一起我会得到一个奇怪的结果。

我有下面的脚本：

import hydra
from omegaconf import DictConfig
from mlflow import log_metric, log_param, log_artifact,start_run

@hydra.main(config_path="config.yaml")
def my_app(cfg : DictConfig):
    # print(cfg.pretty())
    # print(cfg['coordinates']['x0'])
    log_param("a",2)
    log_metric("b",3)

if __name__ == "__main__":
    my_app()

但是，运行时，我收到以下错误：

ilknull@nurmachine:~/Files/Code/Python/MLFlow_test$ python3 hydra_temp.py 
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/tracking/fluent.py", line 164, in end_run
    MlflowClient().set_terminated(_active_run_stack[-1].info.run_id, status)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/tracking/client.py", line 311, in set_terminated
    self._tracking_client.set_terminated(run_id, status, end_time)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/tracking/_tracking_service/client.py", line 312, in set_terminated
    end_time=end_time)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/store/tracking/file_store.py", line 377, in update_run_info
    run_info = self._get_run_info(run_id)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/store/tracking/file_store.py", line 442, in _get_run_info
    databricks_pb2.RESOURCE_DOES_NOT_EXIST)
mlflow.exceptions.MlflowException: Run '9066793c02604a6783d081ed965d5eff' not found

同样，它们在单独使用时工作得很好，但它们一起会导致这个错误。有任何想法吗？

4

1 回答 1

3

感谢您报告此事。我不知道这个问题。

这是因为 Hydra 每次运行都会更改您当前的工作目录。

我做了一些挖掘，这是你可以做的：

  1. 设置 MLFLOW_TRACKING_URI 环境变量：
MLFLOW_TRACKING_URI=file:///$(pwd)/.mlflow  python3 hydra_temp.py
  1. 在 hydra.main() 开始之前调用 set_tracking_url() ：
import hydra
from omegaconf import DictConfig
from mlflow import log_metric, log_param, set_tracking_uri
import os

set_tracking_uri(f"file:///{os.getcwd()}/.mlflow")

@hydra.main(config_name="config")
def my_app(cfg: DictConfig):
    log_param("a", 2)
    log_metric("b", 3)


if __name__ == "__main__":
    my_app()
  1. 等待我的新问题得到解决，然后会有一个合适的插件与 mlflow 集成。（这可能需要一段时间）。

顺便说一句，Hydra 1.0 新增了对设置环境变量的支持：

这几乎有效：

hydra:
  job:
    env_set:
      MLFLOW_TRACKING_DIR: file://${hydra:runtime.cwd}/.mlflow
      MLFLOW_TRACKING_URI: file://${hydra:runtime.cwd}/.mlflow

不幸的是，当您的函数退出时，Hydra 正在清理 env 变量，而 MLFlow 在进程退出时进行最终保存，因此不再设置 env 变量。MLFlow 还不断重新初始化用于存储实验数据的 FileStore 对象。如果他们只初始化一次并重用相同的对象，上面应该可以工作。

于 2020-06-10T07:24:21.797 回答