我需要解析所有维基百科的网页。我怎样才能做到这一点？
我可以通过它的站点地图来做到这一点吗？如果是这样，维基百科的站点地图在哪里？
问问题
357 次
1 回答
5
Wikipedia 允许您下载他们的数据库，而不是解析所有网页。这是首选方法，因为它通常会更快，因为维基百科有超过 400 万篇文章。
这对 Wikipedia 来说也更公平，并且不会因为激进的爬行而被他们阻止。请阅读本政策
于 2013-03-18T14:39:00.430 回答