javascript - 在 python 中使用 JavaScript 函数抓取页面的问题

Question

我被python问题困住了，看。

我必须废弃一个具有 JS 函数的页面，但这不是真正的问题，真正的问题是我需要的信息是由函数提供的。所以我需要运行该函数以确保它会构建 HTML我需要的代码，然后处理它以获得我想要的东西..

只是为了确保我清楚，JS函数构建HTML代码，但是当我废弃它时，它没有得到HTML buid，它只是返回JS函数......

我正在使用 mechanize 和 beautifulSoup 进行抓取过程。有谁知道我必须做什么来模拟 JS 函数来获取我需要的 HTML 代码？

提前致谢。

Answer 1

您需要一个支持 javascript 的报废框架。Selenium就是其中之一，与 BeautifulSoup 一起使用时我得到了很好的结果。

如果您打算将Selenium 与 Mozilla Firefox一起使用，您可能需要检查PyVirtualDisplay。