python - 用 Python 提取隐藏的 html

Question

我对“隐藏”的 html 代码有点困惑。如果我使用“查看源代码”功能，我尝试提取的 html 源代码部分如下所示：

<div class="comments_with_more">
  <div id="comments_section">
  </div>
</div>

如果我在 Firefox 中使用“检查元素”功能，它会显示隐藏在“查看源代码”选项中的附加层：

<div class="comments_with_more">
  <div id="comments_section">
    <div id="comments">
      (....what I am trying to get to.........)
    </div>
    <script>
  </div>
</div>

我怀疑脚本可能是什么搞砸了。有谁知道如何获取一般或 Python 中的隐藏代码？

Answer 1

您应该为此使用webkit的绑定，在这里您可以看到它正在执行您需要的操作（解析已加载 javascript 更改的页面）