4

我找到了 ML.NET 的完美介绍：https ://www.codeproject.com/Articles/1249611/Machine-Learning-with-ML-Net-and-Csharp-VB-Net 。它帮助我用 ML.NET 解决了一些问题。

但其中之一仍然是真实的：

当我向语言检测器（LanguageDetection 示例）发送一些文本时，我总是会收到一个结果。即使分类对非常短的文本片段没有信心。我可以获得有关多类分类置信度的信息吗？或者属于某个类的概率在使用相邻句子语言的第二个算法通过中使用它？

4

1 回答 1

3

根据@Jon 的提示，我修改了 CodeProject 中的原始示例。此代码可通过以下链接找到：https ://github.com/sotnyk/LanguageDetector/tree/Code-for-stackoverflow-52536943

主要是（如乔恩建议的那样）添加该字段：

public float[] Score;

进入类 ClassPrediction。

如果该字段存在，我们会收到每类多类分类的概率/置信度。

但是我们对原始示例还有另一个困难。它使用浮点值作为类别标签。但它不是分数数组中的索引。要将分数索引映射到类别，我们应该使用 TryGetScoreLabelNames 方法：

if (!model.TryGetScoreLabelNames(out var scoreClassNames))
    throw new Exception("Can't get score classes");

但是此方法不适用于作为浮点值的类标签。因此，我更改了原始 .tsv 文件和字段 ClassificationData.LanguageClass 和 ClassPrediction.Class 以使用字符串标签作为类名。

未直接提及问题主题的其他更改：

  • 更新了 nuget-packages 版本。
  • 我对使用 lightGBM 分类器很感兴趣（它显示了对我来说最好的质量）。但是当前版本的 nuget-package 对非 NetCore 应用程序有一个错误。因此，我将示例平台更改为 NetCore20/Standard。
  • 未注释的模型使用 lightGBM 分类器。

在名为 Prediction 的应用程序中打印的每种语言的分数。现在，这部分代码如下所示：

internal static async Task<PredictionModel<ClassificationData, ClassPrediction>> PredictAsync(
    string modelPath,
    IEnumerable<ClassificationData> predicts = null,
    PredictionModel<ClassificationData, ClassPrediction> model = null)
{
    if (model == null)
    {
        new LightGbmArguments();
        model = await PredictionModel.ReadAsync<ClassificationData, ClassPrediction>(modelPath);
    }

    if (predicts == null) // do we have input to predict a result?
        return model;

    // Use the model to predict the positive or negative sentiment of the data.
    IEnumerable<ClassPrediction> predictions = model.Predict(predicts);

    Console.WriteLine();
    Console.WriteLine("Classification Predictions");
    Console.WriteLine("--------------------------");

    // Builds pairs of (sentiment, prediction)
    IEnumerable<(ClassificationData sentiment, ClassPrediction prediction)> sentimentsAndPredictions =
        predicts.Zip(predictions, (sentiment, prediction) => (sentiment, prediction));

    if (!model.TryGetScoreLabelNames(out var scoreClassNames))
        throw new Exception("Can't get score classes");

    foreach (var (sentiment, prediction) in sentimentsAndPredictions)
    {
        string textDisplay = sentiment.Text;

        if (textDisplay.Length > 80)
            textDisplay = textDisplay.Substring(0, 75) + "...";

        string predictedClass = prediction.Class;

        Console.WriteLine("Prediction: {0}-{1} | Test: '{2}', Scores:",
            prediction.Class, predictedClass, textDisplay);
        for(var l = 0; l < prediction.Score.Length; ++l)
        {
            Console.Write($"  {l}({scoreClassNames[l]})={prediction.Score[l]}");
        }
        Console.WriteLine();
        Console.WriteLine();
    }
    Console.WriteLine();

    return model;
}

}

于 2018-09-29T10:12:35.707 回答