我想爬取所有的 wordpress 博客。有没有什么快速的方法可以列出 wordpress.com 下的所有二级域名?例如http://developer.wordpress.com/
如果我们能得到所有二级域地址的列表,那么爬取所有数据集应该很容易和快速。
所以我们可以通过 1) dns 查找网站的所有二级域名。2)或通过其他黑客技术?
感谢您对这个问题的回答!
我想爬取所有的 wordpress 博客。有没有什么快速的方法可以列出 wordpress.com 下的所有二级域名?例如http://developer.wordpress.com/
如果我们能得到所有二级域地址的列表,那么爬取所有数据集应该很容易和快速。
所以我们可以通过 1) dns 查找网站的所有二级域名。2)或通过其他黑客技术?
感谢您对这个问题的回答!
您可以在一些实时搜索的在线应用程序上使用 google dorks 轻松找到子域,例如http://www.iseebug.com/find-sub-domain-online-search-domain/ 以及在线爬虫,例如http:// iseebug.com/sandVox/