问题标签 [cld3]

我的cld2语言检测模型 (langID) 返回输入句子以对以下值进行分类

其中textBytes表示输入文本的大小，表示句子中percent的分布，而表示检测质量的指标（越小越好）。也就是说，在全新的CLD3神经网络中，分类的结果就是准确率（所以是一个介于 0 和 1 之间的概率值），就像codescore

我想弄清楚如何将 CLD2 分数转换为概率值，以便将结果与新的 CLD3 模型进行比较。

在我基于 JVM 的项目中，我正在加载 2 个不同的库

1) CLD3使用protobuffer 3.8，否则无法编译

2) libtensorflow -使用protobuffer 3.7.1的 1.13.1

这取决于谁首先加载错误

有没有办法解决这个依赖问题

如果使用相同的 protobuffer 版本编译不是一个选项？

我分叉了 tensorflow master 分支，他们在 5 天前在此提交中添加了对 protobuffer 3.8 的支持

https://github.com/ntedgi/tensorflow/commit/508f76b1d9925304cedd56d51480ec380636cb82

但它不是一个稳定的版本，我真的不想维护这个分支或等到新版本

我正在尝试在 Python 3.9 上使用 pip 安装 cld3。我已经成功安装了 protoc 并且还使用 Visual Studio 获得了 C++ 构建工具，但是当我运行py -m pip install -U pycld3它时失败并显示一些消息。我在运行 Python 3.9 的 Windows 10 上它最初无法使用轮子构建：

这并不奇怪，因为它在文档中提到我的操作系统不支持轮子安装。但是我真的不明白接下来会发生什么：

据我所知，这是因为它找不到“cld3/pycld3.cpp”。我需要运行早期版本的 Python 吗？提前致谢

我尝试使用 cmd pip install pycld3 安装 pycld3，但每次弹出错误并说：

我正在使用 cld3 来检测语言。我想将此应用于 pyspark 数据框的列。我正在使用数据块，这是我现在拥有的代码：

当我将 get_language 函数应用于 pandas 格式的列时，它运行顺利，如下所示：

但是，当我使用 utf 在 pyspark 中创建一个新列时，运行它时会出现错误。这是代码：

我已经安装并导入了 cld3 库

任何想法我能做些什么来解决这个问题？先感谢您！