0

我一直在尝试使用 BeautifulSoup 解析网页。当我从 urllib.request 导入 urlopen 并打开https://pbejobbers.com时，它返回以下内容而不是网页本身：

<html>
  <body>
    <script src="/aes.min.js" type="text/javascript"></script>
    <script>
         function toNumbers(d){var e=[];d.replace(/(..)/g,function(d){e.push(parseInt(d,16))});return e}function toHex(){for(var d=[],d=1==arguments.length&&arguments[
      0].constructor==Array?arguments[0]:arguments,e="",f=0;f<d.length;f++)e+=(16>d[f]?"0":"")+d[f].toString(16);return e.toLowerCase()}var a=toNumbers("0181cdf0013bf7
      0f89e91be7ef0d00c2"),b=toNumbers("a168ceeade18bccc1cdd77af68ef1753"),c=toNumbers("200a38f39b6a3fe3564acf9bd88c25da");document.cookie="OCXS="+toHex(slowAES.decryp
      t(c,2,a,b))+"; expires=Thu, 31-Dec-37 23:55:55 GMT; path=/";document.location.href="http://pbejobbers.com/product/search?search=USC4215&81e93addddb02a10cd0652f09
      370ae96=1";
    </script>
  </body>
</html>

我有一系列 UPC 代码，用于查找我正在寻找的产品。我将数组传递给一个函数并解析 html 以找到必要的标签，但我可以得到实际的 html。这是我的代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup

upc_codes = ['USC4215', 'USC4225', 'USC12050']

def retrunh1(upc):
    html = urlopen('https://pbejobbers.com/product/search?search={}'.format(upc))
    soup = BeautifulSoup(html, 'html.parser')
    print(soup.prettify())

if __name__=='__main__':
    for upc in upc_codes:
        retrunh1(upc)

我认为问题出在请求功能上。我将其隔离以查看它返回的内容，并且在执行此操作时得到与上面相同的 html：

import requests

r = requests.get('https://pbejobbers.com')

print(r.text)

我对网络解析很陌生，我需要一些关于如何解决这个问题的建议。谢谢

4

3 回答 3

1

当浏览器开始执行它时，javascript 可能会动态填充页面的 html 部分，因此urllib无法下载完整的源代码。

您的 python 脚本需要使用像Selenium这样的无头浏览器框架来像浏览器一样加载页面，然后提取您需要的内容。

正如其他人提到的，请不要违反他们的服务条款，特别是如果数据是私人的/在登录页面后面

于 2020-01-14T06:19:33.010 回答
1

当我手动搜索时USC4215，网址是https://pbejobbers.com/product/search?search=USC4215&_rand=0.35863039778309025

该网站正在附加一个随机秘密_rand以防止机器人网络爬行。您需要使用有效的随机密钥发出请求以接收响应。

事实上，通常秘密是通过一组 cookie 生成的，如果您单击Inspect ==> Network ==> Doc并Ctrl + R刷新网站，您会在发出另一个请求时找到更多关于网络流量的信息，确切地说是您的 http 请求和响应内容。

于 2020-01-14T06:34:58.987 回答
1

请试试这个。

Python代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
import re

upc_codes = ['USC4215', 'USC4225', 'USC12050']

def retrunh1(upc):
    payload = {'search': upc }
    r = requests.get('https://pbejobbers.com/product', params=payload)
    matches = re.search(r'document\.location\.href=\"(:?.*)=1\";', str(r.text), re.M|re.S)
    url = matches[1]

    response = requests.get(url)

    for resp in response.history:
      r = requests.post(resp.headers['Location'])
      soup = BeautifulSoup(r.content, 'html.parser')
      print(soup.prettify())

if __name__=='__main__':
    for upc in upc_codes:
        retrunh1(upc)

输出：

<div class="page-area-container">
    <div class=" middlebar">
        <div class=" middlebar__left">
            <a class=" logo" href="/">
                <img alt="PBE Jobbers" class=" logo-img" src="/bundles/pjfrontend/pbejobbers/images/logo/pbe-logo.svg?version=9d4c5d60"/>
            </a>
        </div>
        ...
    </div>
    ...
</div>
于 2020-01-14T08:34:50.357 回答