1

我想爬取所有的 wordpress 博客。有没有什么快速的方法可以列出 wordpress.com 下的所有二级域名?例如http://developer.wordpress.com/

如果我们能得到所有二级域地址的列表,那么爬取所有数据集应该很容易和快速。

所以我们可以通过 1) dns 查找网站的所有二级域名。2)或通过其他黑客技术?

感谢您对这个问题的回答!

4

1 回答 1

0

您可以在一些实时搜索的在线应用程序上使用 google dorks 轻松找到子域,例如http://www.iseebug.com/find-sub-domain-online-search-domain/ 以及在线爬虫,例如http:// iseebug.com/sandVox/

于 2016-12-31T16:31:25.910 回答