nlp - 从离线转储中提取属于某个类别的维基百科文章

Question

我有不同语言的维基百科文章转储。我想用属于某个类别的文章（特别是Category:WikiProject_Biography）过滤它们

我可以得到很多类似的问题，例如：

1. Wikipedia API 获取属于某个类别的文章
2. 如何从 Wikipedia 中获取有关人员的所有文章？

但是，我想离线完成所有操作。那是使用转储，也适用于不同的语言。

我探索的其他东西是类别表和类别链接表。 MediaWiki_1.28.0_database_schema

Answer 1

从转储中获取page和表，然后运行categorylinks

SELECT
    page_namespace,
    page_title
FROM
    page
    JOIN categorylinks ON page_id = cl_from
WHERE
    cl_to = 'WikiProject_Biography'
;

获取页面列表。