我正在尝试使用互操作将 SentencePiece 与一些 C# 代码集成。我有 # of threads = # of cores,以及在每个线程中运行的 SentencePieceProcessor 实例。我在这些不同的实例上同时调用 EncodeAsIds。
我的日志显示有时对 Encode 的调用需要花费大量时间(> 1000 毫秒)。这不会发生在我在空载条件下运行编码的同一个字符串上,所以我怀疑有什么东西阻塞了……有没有其他人经历过这种情况或知道句子是否被阻塞?
我正在尝试使用互操作将 SentencePiece 与一些 C# 代码集成。我有 # of threads = # of cores,以及在每个线程中运行的 SentencePieceProcessor 实例。我在这些不同的实例上同时调用 EncodeAsIds。
我的日志显示有时对 Encode 的调用需要花费大量时间(> 1000 毫秒)。这不会发生在我在空载条件下运行编码的同一个字符串上,所以我怀疑有什么东西阻塞了……有没有其他人经历过这种情况或知道句子是否被阻塞?