python - 如何将 CatBoost 模型导出为文本以供将来解析为 if-else 决策树？

Question

我目前正在使用新的 CatBoost 算法（python 版本）并尝试将我的模型导出到 txt 文件以将我的模型传输到 C/Java 实现。查看文档我只发现save_model方法只接受两种格式的文件：1.二进制 2.CoreML for Apple

这些格式都不适合我，所以也许还有其他方法可以实现它？

Answer 1

如果你切换到使用命令行程序，你可以使用--print-trees选项。它只显示正在训练的模型的树。因此，您无法为现有模型获取树。

Answer 2

没有办法直接做到这一点：Catboost 目前还不支持模型序列化。

但是，Catboost 已经可以将模型转换为 CoreML，并且有一个 CoreML 工具可以将模型序列化为类似 JSON 的文本。享受最小的例子：

from sklearn import datasets
iris = datasets.load_iris()

import catboost
# the shortest possible model specification
cls = catboost.CatBoostClassifier(loss_function='MultiClass', iterations=1, depth=1)
cls.fit(iris.data, iris.target)

# save model to CoreML format
cls.save_model(
    "iris.mlmodel",
    format="coreml", 
    export_parameters={
        'prediction_type': 'probability'
    }
)

# there is a CoreML tool for model serialization
import coremltools
model = coremltools.models.model.MLModel("iris.mlmodel")
model.get_spec()

您可能需要阅读coremltools 文档才能完全理解此代码打印的内容，但您可以阅读如下输出："There is an ensemble of a single tree with 2 leaves - in the leaf 0, class 0 dominates, in the leaf 1 - classes 1 and 2. Go to the leaf 1, if feature 3 is larger than 0.8, otherwise go to leaf 0"

specificationVersion: 1
description {
  input {
    name: "feature_3"
    type {
      doubleType {
      }
    }
  }
  output {
    name: "prediction"
    type {
      multiArrayType {
        shape: 3
        dataType: DOUBLE
      }
    }
  }
  predictedFeatureName: "prediction"
  predictedProbabilitiesName: "prediction"
  metadata {
    shortDescription: "Catboost model"
    versionString: "1.0.0"
    author: "Mr. Catboost Dumper"
  }
}
treeEnsembleRegressor {
  treeEnsemble {
    nodes {
      nodeBehavior: LeafNode
      evaluationInfo {
        evaluationValue: 0.05084745649058943
      }
      evaluationInfo {
        evaluationIndex: 1
        evaluationValue: -0.025423728245294732
      }
      evaluationInfo {
        evaluationIndex: 2
        evaluationValue: -0.025423728245294732
      }
    }
    nodes {
      nodeId: 1
      nodeBehavior: LeafNode
      evaluationInfo {
        evaluationValue: -0.02752293516463098
      }
      evaluationInfo {
        evaluationIndex: 1
        evaluationValue: 0.01376146758231549
      }
      evaluationInfo {
        evaluationIndex: 2
        evaluationValue: 0.013761467582315471
      }
    }
    nodes {
      nodeId: 2
      nodeBehavior: BranchOnValueGreaterThan
      branchFeatureIndex: 3
      branchFeatureValue: 0.800000011920929
      trueChildNodeId: 1
    }
    numPredictionDimensions: 3
    basePredictionValue: 0.0
    basePredictionValue: 0.0
    basePredictionValue: 0.0
  }
  postEvaluationTransform: Classification_SoftMax
}

这种方法有一个缺点：CoreML 不支持 Catboost 处理分类特征的方式。因此，如果您想序列化具有分类特征的模型，则需要在训练之前对其进行一次热编码。