python - 将数据加载到 Catboost 池对象中

Question

我正在训练 Catboost 模型并使用 Pool 对象，如下所示：

pool = Pool(data=x_train, label=y_train, cat_features=cat_cols)
eval_set = Pool(data=x_validation, label=y_validation['Label'], cat_features=cat_cols)

model.fit(pool, early_stopping_rounds=EARLY_STOPPING_ROUNDS, eval_set=eval_set)

对于x_train、和y_train，它们来自类型（数据集保存为 Parquet 文件，我使用 PyArrow 将它们读入数据帧）。 是 Catboost 分类器/回归器。x_validationy_validationPandas DataFramemodel

我正在尝试针对大型数据集进行优化，我的问题是：

1. 将数据集读取到 Pandas DataFrame（使用 PyArrow），然后创建 Pool 对象时，我实际上是否将用于存储数据集的内存量翻了一番？我知道他们复制数据来构建池，它不是参考。
2. 有没有更有效的方法来创建池？例如直接从libsvm文件加载它？就像这里提到的https://catboost.ai/docs/concepts/python-usages-examples.html#load-the-dataset-from-a-file
3. 有什么办法可以将数据批量加载到池中？而不是一开始就将所有内容都加载到内存中？

Answer 1

1. 是的，不幸的是，使用的 RAM 量增加了一倍，因此最好先将数据转换为 Catboost 可以理解的文件格式，然后再从文件创建池。为什么 Catboost 使用额外的 RAM - 量化数据集。您可以从大熊猫数据帧（必须加载到 RAM）中准备一个池，删除 df，量化池，如果您认为以后必须重复训练，请保存它。请注意，您只能保存量化池。如果这样做，请始终说量化边界，否则，您将无法创建辅助数据集（如验证数据集），因为它们需要相同的量化。简单的文件格式，如 csv/tsv Catboost 可以直接从磁盘读取（并量化，它们在 untils 模块中有一个辅助函数）。
2. 是的，就像你引用的那样。
3. 您可以使用批量训练手动加载批次或继续训练。两者都适用于您的目的，我已经尝试过了。训练延续看起来更简单（因为您只需要提供 init_model），但您将无法在 GPU 上进行训练（至少目前是这样）。另外，您将仅限于对称树，并且对超参数有更多限制。通过批量训练，您可以使用 GPU。