machine-learning - 为什么 NLP 过程被认为是语言相关的？

Question

为什么 NLP 流程被认为是语言相关的？

例如，这里： http ://www.slideshare.net/saschanarr/languageindependent-twitter-sentiment-analysis on slide 6，它说：“自然语言处理方法通常是专门为一种语言设计的”。

为什么会这样？我认为一旦使用机器学习实现该方法，算法是相同的，你需要的只是训练集......

Answer 1

在启发式的情况下，这些通常取决于问题和语言。在机器学习的情况下，是的，在抽象的理论意义上，“唯一”的区别是训练集。各种语言的训练集的可用性是第一个问题。然后是可以从训练集中剪除的有用特征的数量、启发式方法和知识源的可用性以改进机器学习、使学习成功所需的超参数等。

例如，考虑命名实体识别（NER）的问题。在英语数据中，“单词大写”功能几乎可以用来识别名称，但在德语中，每个名词都大写。结果是德语的 NER 与英语的 NER 是一个完全不同的问题。