dart - 用 dart 编写的网络爬虫

Question

我有一种简单的方法可以在 dart 中编写 Web Crawler 吗？基本上我想抓取 AJAX 和非 AJAX 站点并从每个页面收集一些信息。html5lib 是实现它的一个选项吗？

提前致谢！拉文德拉

Answer 1

我不知道使用 Dart 构建的网络爬虫库。但是，所有的部分都应该在那里。Dart VM 可以连接到 HTTP 资源，您可以使用 HTML5Lib 来解析页面。

爬行 AJAX 需要 JavaScript 解释器。我不知道用 Dart 编写的 JavaScript 解释器，但您也许可以使用无头 Web 浏览器（如 DumpRenderTree）。