python - 你可以同时运行 python wikipedia api 多次吗？

Question

我有一个所有维基百科文章的列表，我想抓取一个身体用于研究目的。我的脚本运行良好，但以目前的速度，这将需要 40 天。

我的问题是：

我可以运行这个脚本吗，比如说在不同的终端窗口中并行 10 次。如果我只是这样设置：

脚本1：起点：0 终点：len(list)/10

脚本2：起点起点：len(list)/10 终点：len(list)/(10*2)

...

脚本 10

等等。

这可能会给我留下 4 天的时间，这在我看来是合理的。

我的方法有效吗？有更好的方法吗？

谢谢。

Answer 1

可能是的，理想的不是。为什么你认为它的运行速度如此缓慢？您还在使用 wiki api 还是在抓取网站？有些因素会影响两者中的任何一个，因此了解您的实际操作将有助于我们给出更好的答案。