python - Python 调用多个 URL 并从中提取数据

Question

我正在尝试编写一个可以调用网页的脚本（http://www.ncbi.nlm.nih.gov/Taxonomy/Browser/wwwtax.cgi?mode=Tree&id=7742&lvl=3&lin=f&keep=1&srchmode=1&unlock )，扫描它，然后拉出每个嵌套分类群中的目、科、属和种。但是，我只想要脊椎动物（整个网站的一小部分），但与各种脊椎动物分类群相关的 URL 没有任何可辨别的模式（即顺序）。有没有办法做到这一点合理？在尝试制定不同的方法来实现这一目标时，我遇到了很多问题。

Answer 1

目前还不是很清楚（至少对我来说）你到底想做什么，但是，据我所知，你需要创建某种爬虫来查找页面中的链接，导航网站并对它们进行分类?

如果是这样，请使用mechanize，它允许您模拟网络浏览器，并在网站上导航，轻松提取和跟踪链接，提交表单等。