18

我正在通过以下方式下载其中定义了数据的 HTML 页面：

... <script type= "text/javascript">    window.blog.data = {"activity":{"type":"read"}}; </script> ...

我想提取在“window.blog.data”中定义的 JSON 对象。有没有比手动解析更简单的方法？（我正在研究 Beautiful Soap 但似乎找不到一种无需解析即可返回确切对象的方法）

谢谢

编辑： 使用 python 无头浏览器（例如，Ghost.py）执行此操作是否可能且更正确？

4

4 回答 4

16

BeautifulSoup 是一个 html 解析器；您还需要一个 javascript 解析器。顺便说一句，一些javascript对象文字不是有效的json（尽管在您的示例中文字也是有效的json对象）。

在简单的情况下，您可以：

  1. <script>使用 html 解析器提取的文本
  2. 假设它window.blog...是单行或';'对象内部没有，并使用简单的字符串操作或正则表达式提取 javascript 对象文字
  3. 假设字符串是一个有效的 json 并使用 json 模块解析它

例子：

#!/usr/bin/env python
html = """<!doctype html>
<title>extract javascript object as json</title>
<script>
// ..
window.blog.data = {"activity":{"type":"read"}};
// ..
</script>
<p>some other html here
"""
import json
import re
from bs4 import BeautifulSoup  # $ pip install beautifulsoup4
soup = BeautifulSoup(html)
script = soup.find('script', text=re.compile('window\.blog\.data'))
json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*$',
                      script.string, flags=re.DOTALL | re.MULTILINE).group(1)
data = json.loads(json_text)
assert data['activity']['type'] == 'read'

如果假设不正确，则代码将失败。

为了放宽第二个假设，可以使用 javascript 解析器代替正则表达式，例如slimit（@approximatenumber 建议）：

from slimit import ast  # $ pip install slimit
from slimit.parser import Parser as JavascriptParser
from slimit.visitors import nodevisitor

soup = BeautifulSoup(html, 'html.parser')
tree = JavascriptParser().parse(soup.script.string)
obj = next(node.right for node in nodevisitor.visit(tree)
           if (isinstance(node, ast.Assign) and
               node.left.to_ecma() == 'window.blog.data'))
# HACK: easy way to parse the javascript object literal
data = json.loads(obj.to_ecma())  # NOTE: json format may be slightly different
assert data['activity']['type'] == 'read'

无需将对象文字 ( obj) 视为 json 对象。要获取必要的信息，obj可以像其他 ast 节点一样递归访问。它将允许支持任意 javascript 代码（可以通过 解析slimit）。

于 2012-11-10T19:46:10.393 回答
7

像这样的东西可能会起作用：

import re

HTML = """ 
<html>
    <head>
    ...
    <script type= "text/javascript"> 
window.blog.data = {"activity":
    {"type":"read"}
    };
    ...
    </script> 
    </head>
    <body>
    ...
    </body>
    </html>
"""

JSON = re.compile('window.blog.data = ({.*?});', re.DOTALL)

matches = JSON.search(HTML)

print matches.group(1)
于 2012-11-10T19:40:29.270 回答
1

我遇到了类似的问题，最终将 selenium 与 phantomjs 一起使用。这有点笨拙，我无法弄清楚正确的等待方法，但隐式等待到目前为止对我来说似乎工作得很好。

from selenium import webdriver
import json
import re

url = "http..."
driver = webdriver.PhantomJS(service_args=['--load-images=no'])
driver.set_window_size(1120, 550)
driver.get(url)
driver.implicitly_wait(1)
script_text = re.search(r'window\.blog\.data\s*=.*<\/script>', driver.page_source).group(0)

# split text based on first equal sign and remove trailing script tag and semicolon
json_text = script_text.split('=',1)[1].rstrip('</script>').strip().rstrip(';').strip()
# only care about first piece of json
json_text = json_text.split("};")[0] + "}"
data = json.loads(json_text)

driver.quit()

```

于 2016-03-10T07:49:24.023 回答
-1

快速而简单的方法是（'这里把开始（。*？）和结束在这里'）就是这样！

import re
import json
html = """<!doctype html>
<title>extract javascript object as json</title>
<script>
// ..
window.blog.data = {"activity":{"type":"read"}};
// ..
</script>
<p>some other html here
"""

而不是简单地

re.search('{"activity":{"type":"(.*?)"', html).group(1)

或完整的 json

jsondata = re.search('window.blog.data = (.*?);', html).group(1)
jsondata = json.loads(jsondata)
print(jsondata["activity"])

#输出{'类型'：'读取'}

于 2021-08-17T03:01:25.500 回答