sql - 如何用 R 分析维基百科文章的数据库？

Question

这是一个“大”问题，我不知道如何开始，所以我希望你们中的一些人能给我一个方向。如果这不是一个“好”的问题，我将道歉关闭线程。

我想通过维基百科的数据库（比如说英文的），做统计。例如，我对维基百科在每个时间点（假设在过去 2 年）有多少活跃编辑（应该定义）感兴趣。

我不知道如何建立这样的数据库，如何访问它，如何知道它有哪些类型的数据等等。所以我的问题是：

score 8 · Accepted Answer

您可能想要的文件是：

# 2010-03-17 04:33:50 done Log events to all pages.
    * This contains the log of actions performed on pages.
    * pages-logging.xml.gz 1.0 GB

然后将 xml 导入 MySQL。每天、每周、每年等生成用户的直方图不需要 R。您将能够使用单个 MySQL 查询来做到这一点。就像是：

select DAYOFYEAR(wiki_edit_timestamp), count(*)
from page_logs
group by DAYOFYEAR(wiki_edit_timestamp)
order by DAYOFYEAR(wiki_edit_timestamp);

等等

（我不确定他们的实际架构是什么，但它会是这样的。）

毫无疑问，你会遇到问题，但你也会学到很多东西。祝你好运！

score 5 · Accepted Answer

你可以

如前所述，使用维基百科数据库转储
使用live mediawiki API，请参阅Rosettacode 上的这个最小示例或我未完成的 S3 类方法或Peter Konings 的这个包
与dbpedia 合作，努力将维基百科中的知识提取到知识库中。他们提供了一个我不太了解的在线 sparql 访问，以及作为 n- triples 的数据集以供下载。请参阅此 python 脚本，它可能是 R 脚本的起点。这种方法可能有助于访问存储在维基百科中的内容（例如信息框），但我不确定有关维基百科贡献者的信息是否可用。

score 2 · Accepted Answer

2

尝试WikiXRay (Python/R) 和zotero。

于 2010-05-17T09:44:25.303 回答

3 回答 3