问题标签 [mlflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
docker - 如何使用 Docker 提供自定义 MLflow 模型?
我们有一个项目基本上遵循这个
docker 示例,唯一的区别是我们创建了一个与此类似的自定义模型,其代码位于名为forecast
. 我们成功地用mlflow run
. 当我们尝试为模型服务时,问题就出现了。做完之后
我们无法运行容器
出现以下错误:
似乎 docker 镜像不知道定义我们自定义模型类的源代码。code_path
在Conda环境中,由于mlflow.pyfunc.log_model
.
我们的 Dockerfile 非常基础,只有FROM continuumio/miniconda3:4.7.12, RUN pip install {model_dependencies}
.
如何让 docker 镜像知道反序列化模型的源代码并运行它?
scala - 是否可以在基于 Scala 的项目中使用 MLFlow 和 H2o.ai 苏打水?
我正在使用 maven 在 Intellij 中解决 Scala 数据科学问题。我注意到 MLFlow spark ( https://mvnrepository.com/artifact/org.mlflow/mlflow-spark/1.5.0 ) 依赖于 scala 2.12 而 h2o.ai 苏打水依赖于 scala 2.11 ( https://mvnrepository .com/artifact/ai.h2o/sparkling-water-core)。有没有办法使用 Scala 一起使用这两者?
mlflow - 如何在 mlflow 中添加更多表?
我想在 mlflow 中添加更多表。
由于 mlflow 提供了进行机器学习实验的设施,但我只想在项目级别添加那些用户可以创建多个项目并在该项目中可以执行多个实验的实验。
那么,他们是否有任何方法可以在 mlflow 中实现此功能
python - 您如何“永久”删除 Mlflow 中的实验?
任何地方都没有记录永久删除实验。我正在使用带有后端 postgres db 的 Mlflow
这是我运行的:
这会删除实验,但是当我运行与刚刚删除的实验同名的新实验时,它将返回此错误:
我在文档中找不到任何地方显示如何永久删除所有内容。
python - 在没有 Conda 环境的情况下部署 MLflow 模型
目前正致力于在 Docker 容器中部署我的 MLflow 模型。Docker 容器设置了模型的所有必要依赖项,因此对于 MLflow 来说,为模型创建/激活 conda 环境似乎是多余的。查看文档(https://www.mlflow.org/docs/latest/cli.html#mlflow-models-serve)它说您可以使用--no-conda
标志为模型提供服务,并且 MLflow 将假定您“在具有必要依赖项的 Conda 环境”。当我们在任何具有必要依赖项的环境(不一定是 Conda 环境)中运行时,此解决方案对我们有用。这个对吗?或者我们是否绝对需要在使用--no-conda
标志运行时激活 Conda 环境?
例如,我可以创建一个 virtualenv,并在 virtualenv 处于活动状态的情况下,使用mlflow models serve -m [model/path] --no-conda
. 该模型然后正常执行,但文档使它听起来像这不应该工作,因为它明确要求一个 Conda 环境。
apache-spark - 如何在 pandas_udf 中使用 Hyperopt 和 MLFlow?
我正在构建多个 Prophet 模型,其中每个模型都传递给 pandas_udf 函数,该函数训练模型并使用 MLflow 存储结果。
然后我称这个 UDF 为每个 KPI 训练一个模型。
这个想法是,对于每个 KPI,模型将使用多个超参数进行训练,并将每个模型的最佳参数存储在 MLflow 中。我想使用 Hyperopt 来提高搜索效率。
在这种情况下,我应该把目标函数放在哪里?由于数据被传递给每个模型的 UDF,我想在 UDF 中创建一个内部函数,该函数使用每次运行的数据。这有意义吗?
mlflow - mlflow 异常:使用 UUID 运行已处于活动状态
使用 mlflow.set_tracking_uri 设置 tracking_uri 和 set_experiment,遇到错误并再次检查以再次运行以下代码。收到“异常:使用 UUID 运行已处于活动状态”的错误。尝试使用mlflow.end_run
结束当前运行,但得到 RestException: RESOURCE_DOES_NOT_EXIST: Run UUID not found。目前卡在这个无限循环中。有什么建议吗?
mlflow - 如何将本地 MLflow 运行复制到远程跟踪服务器?
我目前正在跟踪我的 MLflow 运行到本地文件路径 URI。我还想设置一个远程跟踪服务器与我的合作者共享。我想避免的一件事是将所有内容记录到服务器,因为它可能很快就会被失败的运行淹没。
理想情况下,我想保留我的本地跟踪器,然后能够只将有希望的运行发送到服务器。
将运行从本地跟踪器复制到远程服务器的推荐方法是什么?
mysql - “在‘握手:读取初始通信数据包’时丢失与 MySQL 服务器的连接,系统错误:11”使用 docker sql 代理
本质上,我在 Google Cloud Platform 上有一个 SQL 数据库,并且在我修改mlflow docker映像时,我正在使用代理 docker 映像建立本地连接以进行开发。我花了很多时间试图调试它并弄清楚发生了什么,但这是我第一次处理这种类型的连接。
当我运行时,docker-compose -f local.yaml up
我得到以下输出:
轻量级代码
本地.yaml
amazon-s3 - mlflow 工件存储到 AWS s3 工件
无论如何将mlflow存储的日志存储到AWS S3?
是否可以只提供 default-artifact-root 而不是同时提供 backend-store-uri 和 default-artifact-root?
还有是否可以从 MlFlowClient 或 MlFlowContext 以编程方式设置 default-artifact-root 而不是运行 mlflow 服务器命令行?
仅供参考,我已经在我的环境变量中定义了所有 AWS_ACCESS_KEY 和 AWS_SECRET_KEY,并将 ENDPOINTS 导出到 S3。
ActiveRun 类中的 logArtifacts 是设置指向 AWS s3 存储桶的 artifact_uri 的正确方法吗?