问题标签 [mlflow]

我正在尝试使用 mlflow databricks 集成，特别是跟踪 API。通常，我可以在笔记本的方便侧边栏中查看过去的运行信息，正如您在此处看到的以及我从教程中获得的那样。但是，我现在想要的是使用多个笔记本将运行发送到同一个实验。此外，我想查看每个笔记本中所有这些常见运行的结果。为此，我需要更改“运行”选项卡跟踪的（默认）实验。

最终，我的问题归结为以下几点：如何设置“运行”选项卡跟踪的实验？我试过使用mlflow.set_tracking_uri和mlflow.set_experiment(mlflow_experiment_name)

我正在尝试按照此处所述下载模型mlflow：aws lambda functionhttps: //www.mlflow.org/docs/latest/tracking.html#referencing-artifacts

但是会引发以下错误：

应该下载的 sklearnmodel.pkl文件mlflow有 627 字节，aws lambda限制应该是 512 MB，这应该是足够的空间。

我有一个团队，其中许多成员有权通过命令行将 Spark 任务提交给 YARN（资源管理）。很难跟踪谁在使用多少内核，谁在使用多少内存……例如，现在我正在寻找可以帮助我监控每个成员使用的参数的软件、框架或其他东西。它将成为客户端和 YARN 之间的桥梁。然后我可以用它来过滤提交命令。

我确实看过mlflow，我真的很喜欢 MLFlow Tracking，但它是为 ML 训练过程而设计的。我想知道我的目的是否有替代方案？或者该问题有任何其他解决方案。

谢谢！

尝试 mlflow 示例并运行“mlflow ui”时，我收到以下错误消息。

错误：

ModuleNotFoundError: No module named 'fcntl' 运行 mlflow 服务器失败。有关详细信息，请参阅上面的日志

有人知道这个问题的解决方案吗？

我已经尝试了https://github.com/mlflow/mlflow/pull/1080建议的解决方案

没有成功。替换 mlflow 源代码中修改后的文件，它会引发其他问题，因为找不到它正在寻找的内容如下：

MLflow当源代码存储在公共 git 存储库中时，我测试了实验。示例命令如下所示

但是，当我提供内部（私有）git 存储库链接而不是公共时，MLflow 会重定向到登录 url，然后执行会像这样失败。

有什么方法可以将 git 帐户的凭据传递给 MLflow？

我mlflow在此示例中描述的 docker 环境中使用，并以mlflow run ..

我得到这样的输出

我想my_docker_volume在路径上挂载一个命名为容器的 docker 卷/data。所以代替docker run上面显示的，我想使用

我看到原则上我可以在没有安装卷的情况下运行一次，然后复制docker run ...并添加--mount source=my_volume,target=/data，但我宁愿使用类似的东西

但这显然不起作用，因为 --mount 不是 mlflow run. 那么安装 docker 卷的推荐方法是什么？

我是 MLflow 的新手。我试图在 Jupyter 中使用它。作为快速入门的一部分，我运行了以下代码：

运行没有任何问题。但是，当我随后输入 mlflow ui 时，出现错误：语法无效。我可能做错了什么？

我必须将我的 MLFlow 工件（使用 Databricks 统一分析）保存到 S3 存储桶，并使用 KMS 密钥进行服务端加密。

我的实例进入 AWS 账户 A，我的 S3 存储桶和我的 KMS 密钥进入账户 B。我无法将我的 KMS 密钥进入我的账户 A。

出于安全原因，我不想使用 DBFS 挂载 S3 存储桶（存储桶可能包含敏感数据，我不想在用户之间共享）。

我必须承担一个 IAM 角色才能访问存储桶，就像我通过 s3a（使用spark.hadoop.fs.s3a.credentialsType和spark.hadoop.fs.s3a.stsAssumeRole.arn参数）访问它一样。

当我使用 s3 创建实验并尝试记录这样的模型时：

我有这个错误：

在访问 S3 之前，我如何告诉 MLFlow 承担角色？

我还没有找到在第一次 start_run 之后为该运行设置运行名称的方法（我们可以在那里传递一个名称）。

我知道我们可以使用标签，但那不是一回事。我想添加一个与运行相关的名称，但通常我们只有在运行评估之后或者我们在笔记本中以交互方式运行运行时才知道该名称。

我正在尝试让 mlflow mlproject 工作。

当我使用 repo 名称运行 mlflow 时

执行失败并出现以下错误

关于我应该在哪里看的任何指示？

怀疑 conda.yaml 文件有一些问题，尤其是 conda env 名称。对于创建项目的环境和运行项目的环境，我有不同的名称。有关系吗 ？

谢谢