10

我正在尝试使用 BeautifulSoup 解析 DOM 树并提取作者的姓名。下面是一段 HTML，用于显示我将要抓取的代码的结构。

<html>
<body>
<div class="list-authors">
<span class="descriptor">Authors:</span> 
<a href="/find/astro-ph/1/au:+Lin_D/0/1/0/all/0/1">Dacheng Lin</a>, 
<a href="/find/astro-ph/1/au:+Remillard_R/0/1/0/all/0/1">Ronald A. Remillard</a>, 
<a href="/find/astro-ph/1/au:+Homan_J/0/1/0/all/0/1">Jeroen Homan</a> 
</div>
<div class="list-authors">
<span class="descriptor">Authors:</span> 
<a href="/find/astro-ph/1/au:+Kosovichev_A/0/1/0/all/0/1">A.G. Kosovichev</a>
</div>

<!--There are many other div tags with this structure-->
</body>
</html>

我的困惑是，当我执行soup.find 时，它会找到我正在搜索的div 标签的第一次出现。之后，我搜索所有“a”链接标签。在这个阶段，我如何从每个链接标签中提取作者姓名并打印出来？有没有办法使用 BeautifulSoup 或者我需要使用正则表达式？如何继续迭代所有其他 div 标签并提取作者姓名？

import re
import urllib2,sys
from BeautifulSoup import BeautifulSoup, NavigableString
html = urllib2.urlopen(address).read()
    soup = BeautifulSoup(html)

    try:

        authordiv = soup.find('div', attrs={'class': 'list-authors'})
        links=tds.findAll('a')


        for link in links:
            print ''.join(link[0].contents)

        #Iterate through entire page and print authors


    except IOError: 
        print 'IO error'
4

2 回答 2

13

只需将 findAll 用于您为链接所做的 div 链接

对于 soup.findAll('div', attrs={'class': 'list-authors'}) 中的 authordiv：

于 2009-10-01T03:29:56.570 回答
1

由于link已经从可迭代对象中获取，因此您不需要子索引link- 您只需执行link.contents[0].

print link.contents[0]与您的新示例有两个单独的<div class="list-authors">产量：

林大成
罗纳德·A·雷米拉德
杰伦·霍曼
AG科索维切夫

所以我不确定我是否理解关于搜索其他 div 的评论。如果它们是不同的类，您将需要单独执行soup.findand soup.findAll，或者只修改您的第一个soup.find.

于 2009-10-01T03:14:19.250 回答