0

我正在寻找有关如何创建 javascript 的文档，该 javascript 将遵循页面或站点上的所有链接，并创建它们的地图或列表。或者，如果有更好的方法来做到这一点，那也很棒。我只是想获得一个包含 3000 多个页面的网站上所有页面的完整列表。我也不知道在这个问题上贴什么标签，所以那个领域的提示会很冷。

4

1 回答 1

1

您正在寻找的内容被称为：

  1. 网络爬取
  2. 屏幕抓取

使用谷歌，您将能够在您喜欢的技术中找到解决方案。

我个人喜欢python包scrapy

更新：例如，只需搜索“javascript screen scraping tutorial”即可为您提供：pjScrape一个用 javascript 编写的网络抓取框架

于 2012-07-19T16:09:11.237 回答