我正在尝试从网页的表格中提取数据,但不断收到上述错误。我查看了该站点上的示例以及其他示例,但没有一个直接涉及我的问题。请看下面的代码:
from bs4 import BeautifulSoup
import requests
import pandas as pd
url = 'http://www.espn.com/nhl/statistics/player/_/stat/points/sort/points/year/2015/seasontype/2'
r = requests.get(url)
data = r.text
soup = BeautifulSoup(data, "lxml")
table = soup.find_all('table', class_='dataframe')
rows = table.find_all('tr')[2:]
data = {
'RK' : [],
'PLAYER' : [],
'TEAM' : [],
'GP' : [],
'G' : [],
'A' : [],
'PTS' : [],
'+/-' : [],
'PIM' : [],
'PTS/G' : [],
'SOG' : [],
'PCT' : [],
'GWG' : [],
'G1' : [],
'A1' : [],
'G2' : [],
'A2' : []
}
for row in rows:
cols = row.find_all('td')
data['RK'].append( cols[0].get_text() )
data['PLAYER'].append( cols[1].get_text() )
data['TEAM'].append( cols[2].get_text() )
data['GP'].append( cols[3].get_text() )
data['G'].append( cols[4].get_text() )
data['A'].append( cols[5].get_text() )
data['PTS'].append( cols[6].get_text() )
data['+/-'].append( cols[7].get_text() )
data['PIM'].append( cols[8].get_text() )
data['PTS/G'].append( cols[9].get_text() )
data['SOG'].append( cols[10].get_text() )
data['PCT'].append( cols[11].get_text() )
data['GWG'].append( cols[12].get_text() )
data['G1'].append( cols[13].get_text() )
data['A1'].append( cols[14].get_text() )
data['G2'].append( cols[15].get_text() )
data['A2'].append( cols[16].get_text() )
df = pd.DataFrame(data)
df.to_csv("NHL_Players_Stats.csv")
我已经消除了错误,通过看到错误是指没有方法 find_all 的表(即结果集)并通过注释掉以下行来运行代码:
#rows = table.find_all('tr')[2:]
并改变这个:
for row in rows:
但是,这不会从网页中提取任何数据,而只是创建一个带有列标题的 .csv 文件。
我尝试使用soup.find_all 将一些数据直接提取到行中,但出现以下错误;
data['GP'].append( cols[3].get_text() )
IndexError: list index out of range
我无法解决。
因此,任何帮助将不胜感激。
此外,出于好奇,是否有任何方法可以使用以下方法实现预期结果:
dataframe = pd.read_html('url')
因为,我也试过这个,但继续保持:
FeatureNotFound: Couldn't find a tree builder with the features you
requested: html5lib. Do you need to install a parser library?
理想情况下,这是我更喜欢的方法,但在网上找不到任何示例。