clojure - 使用 clojure 抓取包含动态内容的网页

Question

出于学习目的，我正在尝试使用 Clojure 从以下站点抓取数据。

我想知道如何获取表“bm_center bm_dataTable”中的数据。

我面临的挑战是该表的 DOM 在该页面的 html 源中不可用，因为它是在浏览器中动态生成的。

如何获取表格的 hml 源？

我对网络编程知之甚少，但愿意学习。预先感谢您的耐心等待。

Answer 1

DOM 通常是存在于浏览器中的东西。浏览器拉下您在 Clojure 中看到的相同文本，然后构建它用来呈现页面等的 DOM...

您可以通过编写 Clojure 代码手动操作文本以提取您想要的内容。您可以使用 JSoup 之类的 Java 库从 HTML 中提取信息。标准 Java 库也带有 HTML 解析器，但我会避免使用它。它很难使用，并没有真正带来太多好处。