screen-scraping - 类似于数学家谱计划的网站

Question

我正在研究数学家谱项目的数据。我收集有关学生和顾问的所有信息，并对这些数据进行一些查询处理。准确地说，我从数学家谱项目http://www.genealogy.ams.org/的根 URL 爬取所有 HTML 页面，并收集我需要的所有信息并对此进行查询。出于实验目的，我需要在网上提供更多类似格式的数据。任何人都可以推荐好的网站，我可以抓取一些有趣的信息。家谱以外的任何数据也是受欢迎的，但它至少应该有一些层次结构。感谢您的所有建议。

Answer 1

在http://en.wikipedia.org/wiki/Academic_genealogy上有一个此类站点的列表。例如，http://academictree.org/。