python - 堆栈溢出时按标签抓取网页

Question

我想在这个网站上进行网页stackoverflow.com抓取API（

例如，如何10/01/2019 to 01/20/2019使用python标签获取所有帖子和评论？

Answer 1

详细查看https://api.stackexchange.com/docs/

通过使用questions方法，您可以使用特定标签获取从开始日期到结束日期的所有问题。您需要将特定标签传递给tagged参数。

这是它的 URL 格式：
https://api.stackexchange.com/2.2/questions?fromdate={start_date}&todate={end_date}&order=desc&sort=activity&tagged={tag}&site=stackoverflow

例如，以下链接返回从 2019 年 7 月 1 日到 2019 年 7 月 5 日的所有问题，标签为python：
https ://api.stackexchange.com/2.2/questions?fromdate=1561939200&todate=1562284800&order=desc&sort=activity&tagged=python&site=stackoverflow

有关如何在上述 URL 中格式化日期的更多信息，您可以查看dates。

现在您有了question_id，您可以使用questions/{ids}/answers方法来获取该问题从开始日期到结束日期的所有答案。

这是它的 URL 格式：
https://api.stackexchange.com/2.2/questions/{question_id}/answers?fromdate={start_date}&todate={end_date}&order=desc&sort=activity&site=stackoverflow

例如，以下链接返回从 2019 年 1 月 1 日到 2019 年 7 月 1 日对 question_id 为37181281的问题的所有答案：
https ://api.stackexchange.com/2.2/questions/37181281/answers?fromdate=1546300800&todate=1561939200&order=desc&sort=活动&站点=stackoverflow

现在，您基本上拥有了从开始日期到结束日期的所有帖子（问题和答案），并带有特定的标签。

由于您拥有帖子的question_idand answer_id，您可以使用questions/{ids}/comments方法和answers/{ids}/comments方法来获取这些帖子的评论。