问题标签 [mlr]

我已经针对分类问题运行了一个带有嵌套交叉验证（调整+性能测量）的基准实验，并且想创建校准图表。

如果我将基准结果对象传递给 generateCalibrationData，那么 plotCalibration 会做什么？是平均吗？如果有怎么办？

根据 ROC 曲线的 generateThreshVsPerfData ，使用 aggregate = FALSE 选项来理解折叠之间的可变性是否有意义？

为了响应@Zach 对可重现示例的请求，我（OP）编辑我的原始帖子如下：

编辑：可重现的示例

产生以下内容：

聚合校准图

尝试取消聚合会导致：

可视化回归学习器基准实验结果的选项有哪些？例如，generateCalibrationData不接受从一组regr.学习者派生的基准结果对象。我想要类似于可用于分类的校准图的东西。

为了回应@LarsKotthoff 的评论，我（OP）编辑了我的原始帖子，以提供更多关于我正在寻找的功能的详细信息。

编辑：

我正在寻找实际与预测的校准类型图，例如简单的散点图或类似于Classifier Calibration下存在的图。如果我没记错的话，以下对于回归问题是有意义的（并且似乎是为分类器校准所做的）：

• 决定一些桶来离散化 x 轴上的预测，比如 10 个等长的箱（显然你可以继续使用breaks和groups接口到generateCalibrationData当前存在的）

• 对于这些箱 10 中的每一个，计算平均值“预测”并在 x 轴上绘制（例如通过一个点）（可能具有某种可变性度量）并连接 10 个箱中的点

• 对于这些箱 10 中的每一个，计算平均“实际”并在 y 轴上绘制（可能具有某种可变性度量）并连接点

• 提供每个桶中体积的一些表示（就像您通过“rag/rug”图对分类器校准所做的那样）

我的问题背后的基本前提是可以提供什么样的可视化来帮助解释 rsq、mae等性能测量。有许多实际与预测的配置可以导致相同的 rsq、mae 等。

一旦存在某个图，打开/关闭聚合将允许检查单个重采样结果。

我希望这样的组合：

将可用于回归任务，目前似乎不可用（下面的可重现示例）：

产生：

我正在尝试执行以下代码以使用 mlr 过滤功能，如此处所示

但是我收到以下错误，尽管数据集中的指定属性是数字Task(classifTask)

.jcall 中的错误（“weka/filters/Filter”、“Weka/core/Instances;”、“useFilter”、：java.lang.IllegalArgumentException：名义属性（weighted_rev）不能有重复的标签

我怎样才能解决这个问题？

我在 La.svd(x, nu, nv) 中出现错误：在训练学习者时使用 mlr 来自 Lapack 例程 'dgesdd' 的错误代码 1。关于如何修复它的任何建议？

我和 mlr 一起做一个文本分类任务。我已经编写了一个自定义过滤器，如此处所述

创建自定义过滤器

过滤器按预期工作，但是当我尝试并使用并行化时，我收到以下错误：

我从错误中假设我的自定义过滤器需要成为集合中的一个元素才能有机会并行工作，但如果（a）这是可能的，并且（b）如果它没有设法解决是，我该怎么做。

在此先感谢您的帮助，阿扎姆

补充：测试脚本 由于敏感性，我不能让你看到我正在使用的实际脚本/数据，但这个例子重现了我看到的错误。除了自定义特征选择和数据集之外，设置学习器和评估它的步骤与我在“真实”脚本中的步骤相同。与我的实际情况一样，如果您删除了 parallelStartSocket() 命令，则脚本会按预期运行。

我还应该补充一点，在使用 RBF 内核调整 SVM 的超参数时，我已经成功地使用了并行处理（或者至少我没有收到错误）：除了 makeParamSet() 定义之外，脚本是相同的。

我一直在mlr用 Titanic数据集探索这个奇妙的包。我的问题是实现一个随机森林。更具体地说，我想调整cutoff（即，将不纯的叶子分配给给定类的阈值）。问题是该cutoff参数采用两个值，但是，我只能找出超参数mlr为单个值打开。

编码：

这是问题所在，cutoff需要两个值，但是，我不确定如何传递这两个值。上述尝试是错误的。我已经尝试了其他几个参数 makeDiscreteVectorParam生成器，即等....但无济于事。有小费吗？

相反，如果我尝试调整一个参数，例如mtry（即在给定拆分处选择的特征数量），一切正常。

我在 8 核 Linux 上使用以下代码，它占用了所有 8 个核心（6 个工作人员中的每一个都占用 130% 的利用率）

如何确保 mlr 只占用 6 个核心

我正在尝试使用 R 中的多类因变量调整 xgboost 模型。我正在使用 MLR 来执行此操作，但是我遇到了一个错误，即 xgboost 在其命名空间中没有预测 - 我假设 MLR 想要使用。我在网上查了一下，发现其他人也遇到过类似的问题。但是，当我尝试实施它们时，我无法完全理解已提供的答案（例如https://github.com/mlr-org/mlr/issues/935 ），问题仍然存在。我的代码如下：

我得到的具体错误是： Error: 'predict' is not an exported object from 'namespace:xgboost'

我的包版本是：

有人知道我应该在这里做什么吗？

提前致谢。

我正在尝试在 mlr 包中使用 multiclass.au1p 度量。它给了我一个错误说

FUN(X[[i]], ...) 中的错误：测量 multiclass.au1p 需要预测类型为：'prob'！

当我尝试将预测类型设置为 prob 时，它给了我一个类似于我使用的任何分类器的错误

setPredictType.Learner(learner, predict.type) 中的错误：尝试预测概率，但 classif.xgboost.multiclass 不支持！

我该如何解决这个问题？

以下是我的代码

我正在使用h2o包并尝试使用下面给定的代码创建一个学习者

但我收到了这个错误

注意：几个月前我使用此代码没有任何问题。

知道这个错误可能是什么吗？