4

我正在尝试阅读 html 网站并提取其数据。例如，我想阅读过去 5 年公司的 EPS（每股收益）。基本上，我可以阅读它并且可以使用 BeautifulSoup 或 html2text 来创建一个巨大的文本块。然后我想搜索该文件——我一直在使用 re.search——但似乎无法让它正常工作。这是我要访问的行：

EPS（基本）\n13.4620.6226.6930.1732.81\n\n

所以我想创建一个名为 EPS = [13.46, 20.62, 26.69, 30.17, 32.81] 的列表。

谢谢你的帮助。 

from stripogram import html2text
from urllib import urlopen
import re
from BeautifulSoup import BeautifulSoup

ticker_symbol = 'goog'
url = 'http://www.marketwatch.com/investing/stock/'
full_url = url + ticker_symbol + '/financials'  #build url

text_soup = BeautifulSoup(urlopen(full_url).read()) #read in 

text_parts = text_soup.findAll(text=True)
text = ''.join(text_parts)

eps = re.search("EPS\s+(\d+)", text)
if eps is not None:
    print eps.group(1)
4

3 回答 3

2

使用正则表达式解析 html 不是一个好习惯。使用BeautifulSoup解析器：找到其中包含rowTitle类和EPS (Basic)文本的单元格，然后使用类遍历下一个兄弟valueCell：

from urllib import urlopen
from BeautifulSoup import BeautifulSoup

url = 'http://www.marketwatch.com/investing/stock/goog/financials'
text_soup = BeautifulSoup(urlopen(url).read()) #read in

titles = text_soup.findAll('td', {'class': 'rowTitle'})
for title in titles:
    if 'EPS (Basic)' in title.text:
        print [td.text for td in title.findNextSiblings(attrs={'class': 'valueCell'}) if td.text]

印刷：

['13.46', '20.62', '26.69', '30.17', '32.81']

希望有帮助。

于 2013-07-17T20:11:20.927 回答
2

我会采取非常不同的方法。我们使用 LXML 来抓取 html 页面

我们切换的原因之一是因为 BS 有一段时间没有维护 - 或者我应该说更新了。

在我的测试中，我运行了以下

import requests
from lxml import html
from collections import OrderedDict
page_as_string = requests.get('http://www.marketwatch.com/investing/stock/goog/financials').content

tree = html.fromstring(page_as_string)

现在我查看了页面，我看到数据分为两个表。既然你想要 EPS，我注意到它在第二个表中。我们可以编写一些代码以编程方式解决这个问题，但我会把它留给你。

tables = [ e for e in tree.iter() if e.tag == 'table']
eps_table = tables[-1]

现在我注意到第一行有列标题，所以我想分隔所有行

table_rows = [ e for e in eps_table.iter() if e.tag == 'tr']

现在让我们获取列标题：

column_headings =[ e.text_content() for e in table_rows[0].iter() if e.tag == 'th']

最后，我们可以将列标题映射到行标签和单元格值

my_results = []
for row in table_rows[1:]:
    cell_content = [ e.text_content() for e in row.iter() if e.tag == 'td']
    temp_dict = OrderedDict()
    for numb, cell in enumerate(cell_content):
        if numb == 0:
            temp_dict['row_label'] = cell.strip()
         else:
            dict_key = column_headings[numb]
            temp_dict[dict_key] = cell

    my_results.append(temp_dict)

现在访问结果

for row_dict in my_results:
    if row_dict['row_label'] == 'EPS (Basic)':
        for key in row_dict:
            print key, ':', row_dict[key]   


row_label :  EPS (Basic)
2008 : 13.46
2009 : 20.62
2010 : 26.69
2011 : 30.17
2012 : 32.81
5-year trend :

现在还有更多工作要做，例如我没有测试正方形（每行中的单元格数相等）。

最后，我是一个新手，我怀疑其他人会建议使用更直接的方法来获取这些元素（xPath 或 cssselect），但这确实有效，并且它以一种很好的结构化方式从表中获取所有内容。

我应该补充一点，表中的每一行都是可用的，它们是原始行顺序。my_results 列表中的第一项（这是一个字典）包含来自第一行的数据，第二项包含来自第二行的数据，依此类推。

当我需要一个新的 lxml 构建时，我访问了一个由UC-IRVINE的一个非常好的人维护的页面

我希望这有帮助

于 2013-07-17T20:45:58.160 回答
1 
from bs4 import BeautifulSoup
import urllib2
import lxml
import pandas as pd

url = 'http://markets.ft.com/research/Markets/Tearsheets/Financials?s=CLLN:LSE&subview=BalanceSheet'

soup = BeautifulSoup(urllib2.urlopen(url).read())

table = soup.find('table', {'data-ajax-content' : 'true'})

data = []

for row in table.findAll('tr'):
    cells = row.findAll('td')
    cols = [ele.text.strip() for ele in cells]
    data.append([ele for ele in cols if ele])

df = pd.DataFrame(data)

print df

dictframe = df.to_dict()

print dictframe

上面的代码会给你一个来自网页的 DataFrame，然后用它来创建一个 python 字典。

于 2015-07-26T15:55:12.520 回答