web-crawler - 我可以为了研究目的而抓取 StackOverflow 的职位信息吗？

Question

我正在考虑为我的研究抓取 StackoOverflow 的招聘信息。

具体来说，我将构建网络，其中节点被标记为“行业和技术”的职位发布。

这项研究不是为了个人实践，而是为了发表期刊论文。

在这里，我想知道 1) 是否有可能出于研究目的抓取 StackoOverflow 的招聘信息。2）如果可能的话，有没有办法抓取过去的招聘信息 3）其他提供招聘信息的数据库。

Answer 1

似乎不是这样，因为/jobs/被限制抓取。

请参阅：https ://stackoverflow.com/robots.txt

所以长话短说，你是不允许的，但从技术上讲你可以。
聪明点，遵守君子协定。