python - 使用 Sci-Kit 学习对具有大型语料库的文本进行分类

Question

我的数据库中有大约 1600 篇文章，每篇文章都已经预先标记了以下类别之一：

Technology
Science
Business
World
Health
Entertainment
Sports

我正在尝试使用 sci-kit learn 来构建一个可以对新文章进行分类的分类器。（我想我会将训练数据分成两半，用于训练和测试？）

我正在寻找使用 tf-idf，因为我没有停用词列表（不过，我可以使用 NLTK 仅提取形容词和名词，但我宁愿给 scikit-learn 完整的文章）。

我已经阅读了有关 scikit-learn 的所有文档，但他们的示例涉及单词出现和 N-gram（这很好），但他们从未指定如何将一段数据绑定到标签。

我试过查看他们的示例代码，但它太令人困惑而无法理解。

有人可以帮我解决这个问题，或者指出我正确的方向吗？

谢谢。

score 13 · Accepted Answer

我认为当我开始将自己的数据提供给分类器时，您遇到了同样的问题。

您可以使用 function sklearn.datasets.load_files，但要这样做，您需要创建以下结构：

train
├── science
│   ├── 0001.txt
│   └── 0002.txt
└── technology
    ├── 0001.txt
    └── 0002.txt

其中的子目录train被命名为标签，标签目录中的每个文件都是具有相应标签的文章。然后使用load_files加载数据：

In [1]: from sklearn.datasets import load_files

In [2]: load_files('train')
Out[2]: 
{'DESCR': None,
 'data': ['iphone apple smartphone\n',
  'linux windows ubuntu\n',
  'biology astrophysics\n',
  'math\n'],
 'filenames': array(['train/technology/0001.txt', 'train/technology/0002.txt',
       'train/science/0002.txt', 'train/science/0001.txt'], 
      dtype='|S25'),
 'target': array([1, 1, 0, 0]),
 'target_names': ['science', 'technology']}

返回的对象是 a sklearn.datasets.base.Bunch，它是一个简单的数据包装器。这是开始使用分类器的一种简单方法，但是当您的数据较大且经常更改时，您可能希望停止使用文件并使用例如数据库来存储标记的文档，并且可能具有比普通文件更多的结构文本。基本上，您将需要生成您的类别（或target_names）列表，并将列表中每个文档['science', 'technology', ...]的值分配为列表中标记类别的索引。和的长度必须相同。targetdatatarget_namesdatatarget

您可以查看我之前编写的运行分类器的脚本：https ://github.com/darkrho/yatiri/blob/master/scripts/run_classifier.py#L267