2

我对 Python 还很陌生，但到底是什么......这是一个奇怪的问题，所以我会尽我所能地解释它：

我正忙着尝试用 Python 编写一个脚本来检查网页的特定变化（基本上是从 0 翻转到 1 的数字）。当该更改发生时，脚本将继续执行其他操作。不幸的是，我还没有达到这一点，因为我什至在解析 HTML 时都遇到了麻烦，因为在BeautifulSoup获取 HTML 时，很多 HTML 都丢失了！（至少，这是我声称的。）

让我们一步一步来：我正在使用BeautifulSoupand Mechanize。首先，我在网页上找到一个表单并选择它，根据需要更改表单中的控件。（我已经验证所有控件都按照我的预期进行了更改。）在此之后，我提交了表单，然后调用了一个我编写的辅助函数process_results()：

...
form = list(client.forms())[1]
client.select_form('ttform');
...
# Modify controls
...
client.submit()
process_results(client)

process_results()只是检查客户得到了什么。首先，根据表单中输入的内容，您可能会得到无效的搜索结果，所以我想搜索网页上显示的错误消息，看看它是否存在。我曾经BeautifulSoup这样做：

# Processes search results.
def process_serach_results(cli):

    html = cli.response().read()
    soup = BeautifulSoup(html)
    ...

评估相关代码是否出现在页面上的语句如下所示：

...
if (soup.find('td', attr = {'class' : 'msgarea'}) != None):
    # Do something...
    ...

这永远不会评估为真，因为它找不到我正在描述的标签。我决定直接从Mechanize和打印出响应BeautifulSoup，这就是我得到的（缩短）：

Mechanize打印我要查找的代码，这意味着响应正确返回：

...
<TD class=msgarea>
<B class=important_msg>There was a problem with your request:</B>
<BR>
<BR>
<li class=red_msg>...</li>
...
</TD></TR></TABLE><P></DIV>
...

这是显示的最后一段 HTML BeautifulSoup：

...
<span class="pageheaderlinks">
<a ... > MENU </a>
|
<a ... > SITE MAP </a>
|
</span></td></tr></table></div></body></html>

事实上，下面是相同的 HTML Mechanize：

...
<SPAN class="pageheaderlinks">
<A ... >MENU</A>
|
<A ... >SITE MAP</A>
|
<--! Notice how this continues -->
<A ... >HELP</A>
|
<A ... >EXIT</A>
</span>
...

问题是它似乎从浏览器报告BeautifulSoup的末尾省略了一大段 HTML 。Mechanize这可能是我如何处理事情的问题，但在这一点上，我非常迷茫。

有谁知道可能导致这种情况发生的原因？谢谢！:)

4

2 回答 2

6

BeautifulSoup 支持一堆不同的 HTML 解析器。Python 的内置解析器不是很快也不是很宽松（这意味着它很难理解无效的 HTML），所以它会阻塞你的 HTML。

尝试安装lxml，它更宽松，速度更快。如果这不起作用，html5lib是你最好的选择，因为它是最宽松的，但也是最慢的。

于 2013-04-28T23:41:06.613 回答
0

Blender 的回答是正确的，但是这段代码显示了旧解析器对标记的破坏程度，并且在寻找类似问题时可能会证明是有用的。

# fails with bs3, works with bs4
bs3 = True

if bs3:
    from BeautifulSoup import BeautifulSoup 
else:
    from bs4 import BeautifulSoup 

mechanize = """
    <TD class=msgarea>
    <B class=important_msg>There was a problem with your request:</B>
    <BR>
    <BR>
    <li class=red_msg>...</li>
    </TD></TR></TABLE><P></DIV>"""


soup = BeautifulSoup(mechanize) 
# the default parser worked just fine, see?
print soup.prettify()

print 'is important_msg?', soup.find('b').attrs
print 'is msgarea?', soup.find('td').attrs
print 'is td?', soup.find(class_='msgarea').name
print 'is contents?', soup.find('td', class_='msgarea').contents[:5], '...'

我花了一些时间来调试，因为 bs4 没有失败，所以我想我可能会拯救下一个来这里的人。这是使用 bs3 的真正奇怪的输出，它可以通过class但不能通过以下方式找到标签name：

<td class="msgarea">
 <b class="important_msg">
  There was a problem with your request:
 </b>
 <br />
 <br />
 <li class="red_msg">
  ...
 </li>
</td>
<p>
</p>
is important_msg? [(u'class', u'important_msg')]
is msgarea? [(u'class', u'msgarea')]
is td?
Traceback (most recent call last):
  File "bs-fail.py", line 24, in <module>
    print 'is td?', soup.find(class_='msgarea').name
AttributeError: 'NoneType' object has no attribute 'name'
于 2013-04-29T00:02:54.750 回答