3

我正在使用Beautiful Soup从网页中提取“内容”。我知道有些人以前问过这个问题，他们都被指向美丽的汤，这就是我开始使用它的方式。

我能够成功获取大部分内容，但我在使用作为内容一部分的标签时遇到了一些挑战。（我从一个基本策略开始：如果一个节点中有多个 x-chars，那么它就是内容）。我们以下面的html代码为例：

<div id="abc">
    some long text goes <a href="/"> here </a> and hopefully it 
    will get picked up by the parser as content
</div>

results = soup.findAll(text=lambda(x): len(x) > 20)

当我使用上面的代码获取长文本时，它会在标签处中断（识别的文本将从“并且希望..”开始）。所以我尝试用纯文本替换标签，如下所示：

anchors = soup.findAll('a')

for a in anchors:
  a.replaceWith('plain text')

以上不起作用，因为 Beautiful Soup 将字符串作为 NavigableString 插入，当我使用 len(x) > 20 的 findAll 时会导致同样的问题。我可以使用正则表达式首先将 html 解析为纯文本，清除所有不需要的标签，然后调用 Beautiful Soup。但我想避免两次处理相同的内容——我试图解析这些页面，以便我可以显示给定链接的内容片段（非常像 Facebook 分享）——如果一切都用 Beautiful Soup 完成，我想它会更快。

所以我的问题是：有没有办法使用 Beautiful Soup 来“清除标签”并用“纯文本”替换它们。如果没有，最好的方法是什么？

感谢您的建议！

更新： Alex 的代码在示例示例中运行良好。我还尝试了各种边缘情况，它们都运行良好（通过下面的修改）。所以我在一个真实的网站上试了一下，遇到了令我困惑的问题。

import urllib
from BeautifulSoup import BeautifulSoup

page = urllib.urlopen('http://www.engadget.com/2010/01/12/kingston-ssdnow-v-dips-to-30gb-size-lower-price/')

anchors = soup.findAll('a')
i = 0
for a in anchors:
    print str(i) + ":" + str(a)
    for a in anchors:
        if (a.string is None): a.string = ''
        if (a.previousSibling is None and a.nextSibling is None):
            a.previousSibling = a.string
        elif (a.previousSibling is None and a.nextSibling is not None):
            a.nextSibling.replaceWith(a.string + a.nextSibling)
        elif (a.previousSibling is not None and a.nextSibling is None):
            a.previousSibling.replaceWith(a.previousSibling + a.string)
        else:
            a.previousSibling.replaceWith(a.previousSibling + a.string + a.nextSibling)
            a.nextSibling.extract()
    i = i+1

当我运行上面的代码时，我收到以下错误：

0:<a href="http://www.switched.com/category/ces-2010">Stay up to date with 
Switched's CES 2010 coverage</a>
Traceback (most recent call last):
  File "parselink.py", line 44, in <module>
  a.previousSibling.replaceWith(a.previousSibling + a.string + a.nextSibling)
 TypeError: unsupported operand type(s) for +: 'Tag' and 'NavigableString'

当我查看 HTML 代码时，“保持最新..”没有任何以前的兄弟姐妹（在我看到 Alex 的代码之前，我没有以前的兄弟姐妹如何工作，并且根据我的测试，它看起来像是在寻找“文本”在标签之前）。所以，如果没有前一个兄弟姐妹，我很惊讶它没有经历 a.previousSibling 的 if 逻辑是 None 和 a;nextSibling 是 None。

你能告诉我我做错了什么吗？

-ecognium

4

2 回答 2

4

适用于您的特定示例的方法是：

from BeautifulSoup import BeautifulSoup

ht = '''
<div id="abc">
    some long text goes <a href="/"> here </a> and hopefully it 
    will get picked up by the parser as content
</div>
'''
soup = BeautifulSoup(ht)

anchors = soup.findAll('a')
for a in anchors:
  a.previousSibling.replaceWith(a.previousSibling + a.string)

results = soup.findAll(text=lambda(x): len(x) > 20)

print results

发出

$ python bs.py
[u'\n    some long text goes  here ', u' and hopefully it \n    will get picked up by the parser as content\n']

当然，您可能需要多加注意，即，如果没有a.string，或者如果a.previousSibling是None，您将需要适当if的语句来处理这种极端情况。但我希望这个一般的想法可以帮助你。（事实上​​，如果它是一个字符串，您可能还想合并下一个兄弟 - 不确定它如何与您的启发式算法一起使用len(x) > 20，但例如说您有两个 9 字符的<a>字符串，中间包含一个 5 字符的字符串，也许您想将批次选为“23 个字符的字符串”？我不知道，因为我不明白您启发式的动机）。

我想除了<a>标签之外，您还想删除其他标签，例如<b>or <strong>，也许<p>和/或<br>，等等...？我想这也取决于你的启发式背后的实际想法是什么！

于 2010-01-14T02:49:02.093 回答
1

当我试图展平文档中的标签时，标签的整个内容将被拉到其父节点就​​地（我想减少带有所有子段落、列表、div和span的p标签的内容等，但去掉了样式和字体标签以及一些可怕的 word-to-html 生成器残余），我发现使用 BeautifulSoup 本身相当复杂，因为extract()也删除了内容，而replaceWith()不幸的是没有' t 接受无作为论据。经过一些疯狂的递归实验，我最终决定在使用 BeautifulSoup 处理文档之前或之后使用正则表达式，方法如下：

import re
def flatten_tags(s, tags):
   pattern = re.compile(r"<(( )*|/?)(%s)(([^<>]*=\\\".*\\\")*|[^<>]*)/?>"%(isinstance(tags, basestring) and tags or "|".join(tags)))
   return pattern.sub("", s)

tags参数要么是单个标签，要么是要展平的标签列表。

于 2010-07-02T17:05:58.237 回答