3

我正在尝试解析一个简化的 HTML 页面，如下所示：

<div class="anotherclass part"
  <a href="http://example.com" >
    <div class="column abc"><strike>&#163;3.99</strike><br>&#163;3.59</div>
    <div class="column def"></div>
    <div class="column ghi">1 Feb 2013</div>
    <div class="column jkl">
      <h4>A title</h4>
      <p>
        <img class="image" src="http://example.com/image.jpg">A, List, Of, Terms, To, Extract - 1 Feb 2013</p>
    </div>
  </a>
</div>

我是python编码的初学者，我已经阅读并重新阅读了http://www.crummy.com/software/BeautifulSoup/bs3/documentation.html上的beautifulsoup文档

我有这个代码：

from BeautifulSoup import BeautifulSoup

with open("file.html") as fp:
  html = fp.read()

soup = BeautifulSoup(html)

parts = soup.findAll('a', attrs={"class":re.compile('part'), re.IGNORECASE} )
for part in parts:
  mypart={}

  # ghi
  mypart['ghi'] = part.find(attrs={"class": re.compile('ghi')} ).string
  # def
  mypart['def'] = part.find(attrs={"class": re.compile('def')} ).string
  # h4
  mypart['title'] = part.find('h4').string

  # jkl
  mypart['other'] = part.find('p').string

  # abc
  pattern = re.compile( r'\&\#163\;(\d{1,}\.?\d{2}?)' )
  theprices = re.findall( pattern, str(part) )
  if len(theprices) == 2:
    mypart['price'] = theprices[1]
    mypart['rrp'] = theprices[0]
  elif len(theprices) == 1:
    mypart['price'] = theprices[0]
    mypart['rrp'] = theprices[0]
  else:
    mypart['price'] = None
    mypart['rrp'] = None

我想从类中提取任何文本，def并且ghi我认为我的脚本正确。

我还想提取abc我的脚本目前以相当笨重的方式执行的两个价格。有时这部分有两种价格，有时一种，有时没有。

最后，我想从我的脚本无法执行"A, List, Of, Terms, To, Extract"的类中提取部分。jkl我认为获取标签的字符串部分p会起作用，但我不明白为什么它不起作用。这部分中的日期始终与课堂上的日期相匹配，ghi因此应该很容易替换/删除它。

有什么建议吗？谢谢！

4

1 回答 1

2

首先，如果您添加convertEntities=bs.BeautifulSoup.HTML_ENTITIES到

soup = bs.BeautifulSoup(html, convertEntities=bs.BeautifulSoup.HTML_ENTITIES)

那么 html 实体如&#163;将被转换为它们对应的 unicode 字符，如£. 这将允许您使用更简单的正则表达式来识别价格。

现在，给定，您可以使用其属性在价格part中找到文本内容：<div>contents

In [37]: part.find(attrs={"class": re.compile('abc')}).contents
Out[37]: [<strike>£3.99</strike>, <br />, u'\xa33.59']

我们需要做的就是从每个项目中提取数字，如果没有数字则跳过它：

def parse_price(text):
    try:
        return float(re.search(r'\d*\.\d+', text).group())
    except (TypeError, ValueError, AttributeError):
        return None

price = []
for item in part.find(attrs={"class": re.compile('abc')}).contents:
    item = parse_price(item.string)
    if item:
        price.append(item)

此时price将是 0、1 或 2 个浮点数的列表。我们想说

mypart['rrp'], mypart['price'] = price

price但如果是[]或仅包含一项，那将不起作用。

你处理这三种情况的方法if..else是可以的——这是最直接的，可以说是最易读的方法。但这也有点世俗。如果您想要更简洁的内容，可以执行以下操作：

由于如果只包含一件商品，我们想重复相同的价格price，您可能会被引导考虑itertools.cycle。

在 whereprice是空列表的情况下[]，我们想要itertools.cycle([None])，否则我们可以使用itertools.cycle(price)。

所以要将这两种情况组合成一个表达式，我们可以使用

price = itertools.cycle(price or [None])
mypart['rrp'], mypart['price'] = next(price), next(price)

该函数将迭代器中的值一一next剥离。price既然price是循环通过它的价值观，它永远不会结束；它只会继续按顺序产生值，然后在必要时重新开始——这正是我们想要的。

A, List, Of, Terms, To, Extract - 1 Feb 2013可以通过使用属性再次获得contents：

# jkl
mypart['other'] = [item for item in part.find('p').contents
                   if not isinstance(item, bs.Tag) and item.string.strip()]

因此，完整的可运行代码如下所示：

import BeautifulSoup as bs
import os
import re
import itertools as IT

def parse_price(text):
    try:
        return float(re.search(r'\d*\.\d+', text).group())
    except (TypeError, ValueError, AttributeError):
        return None

filename = os.path.expanduser("~/tmp/file.html")
with open(filename) as fp:
    html = fp.read()

soup = bs.BeautifulSoup(html, convertEntities=bs.BeautifulSoup.HTML_ENTITIES)

for part in soup.findAll('div', attrs={"class": re.compile('(?i)part')}):
    mypart = {}
    # abc
    price = []
    for item in part.find(attrs={"class": re.compile('abc')}).contents:
        item = parse_price(item.string)
        if item:
            price.append(item)

    price = IT.cycle(price or [None])
    mypart['rrp'], mypart['price'] = next(price), next(price)

    # jkl
    mypart['other'] = [item for item in part.find('p').contents
                       if not isinstance(item, bs.Tag) and item.string.strip()]

    print(mypart)

产生

{'price': 3.59, 'other': [u'A, List, Of, Terms, To, Extract - 1 Feb 2013'], 'rrp': 3.99}
于 2013-02-02T14:03:33.077 回答