1

我正在尝试使用 BeautifulSoup 制作通用刮板，我正在尝试检测标签下的直接文本可用。

考虑这个例子：

<body>
<div class="c1">
    <div class="c2">
        <div class="c3">
            <div class="c4">
                <div class="c5">
                    <h1> A heading for section </h1>
                </div>
                <div class="c5">
                    <p> Some para </p>
                </div>
                <div class="c5">
                    <h2> Sub heading </h2>
                    <p> <span> Blah Blah </span> </p>
                </div>
            </div>
        </div>
    </div>
</div>
</body>

在这里，我的目标是提取（具有类 c4 的 div），因为它具有所有文本内容。c1 - c3 之前的其他 div 对我来说只是包装器。

我想出的一种识别节点的可能方法是：

if node.find(re.compile("^h[1-6]"), recursive=False) is not None:
    return node.parent.parent

但是对于这种情况来说太具体了。

是否有任何优化方法可以在一级递归中查找文本。即如果我做类似的事情

node.find(text=True, recursion_level=1)

那么它应该返回只考虑直系孩子的文本。

到目前为止我的解决方案，不确定它是否适用于所有情况。

def check_for_text(node):
    return node.find(text=True, recursive=False)

def check_1_level_depth(node):
    if check_for_text(node):
        return check_for_text(node)

    return map(check_for_text, node.children)

对于上面的代码： node 是当前正在检查的soup 的一个元素，即div、span 等。请假设我正在处理check_for_text() 中的所有异常（AttributeError: 'NavigableString'）

4

2 回答 2

2

原来我必须编写一个递归函数来消除带有单个孩子的标签。这是代码：

# Pass soup.body in following
def process_node(node):
    if type(node) == bs4.element.NavigableString:
        return node.text
    else:
        if len(node.contents) == 1:
            return process_node(node.contents[0])
        elif len(node.contents) > 1:
            return map(process_node, node.children)

到目前为止，它运行良好且快速。

于 2013-10-16T01:42:24.570 回答
0

我认为你需要的是这样的：

bs = BeautifulSoup(html)
all = bs.findAll()

previous_elements = []
found_element = None

for i in all:
    if not i.string:
        previous_elements.append(i)
    else:
        found_element = i
        break

print("previous:")
for i in previous_elements:
    print(i.attrs)

print("found:")
print(found_element)

输出：

previous:
{}
{'class': ['c1']}
{'class': ['c2']}
{'class': ['c3']}
{'class': ['c4']}
found:
<h1> A heading for section </h1>
于 2013-10-11T18:40:15.600 回答