nlp - 使用空格作为分隔符来连接内容语言未知的单词是否安全

Question

我必须对输入执行 NLP（特别是语言检测）。输入有多个字段：

{ field1: "", field2: "" ... }

我想合并所有字段并执行 NLP。但是，我不确定使用“SPACE”作为分隔符来连接内容是否安全。

Answer 1

简而言之。是的。如果您对输入进行清理，那么您只剩下来自不同语言的字母和其他字符，那么空格听起来像是一个合乎逻辑的答案。