我正在尝试使用 python 脚本从网站中提取特定的标头。如果我能做到这一点,我实际上会提取图像名称,但我想我会从像标题这样简单的东西开始。我可以提取标题名称并将日期保存到 csv 文件,但标题名称不打印。为了澄清,每次我保存时,日期都会保存到文件中,但标题名称不会。
这是我的python脚本:
import urllib2
from bs4 import BeautifulSoup
import csv
import time
import os
def get_html():
opener = urllib2.build_opener(
urllib2.HTTPRedirectHandler(),
urllib2.HTTPHandler(debuglevel=0),
)
opener.add_handler = [
('User-agent',
"Mozilla/4.0 (compatible; MSIE 7.0; "
"Windows NT 5.1; .NET CLR 2.0.50727; "
".NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)")
]
url = "http://www.photosbywagner.com/galleryone.html"
response = opener.open(url)
return ''.join(response.readlines())
def get_html_sections(html):
soup = BeautifulSoup(html)
html_section = soup.find('div',
attrs={'id': 'headcontainer'})
return html_section
def parse_section_html(html):
selected_html = get_html_sections(html)
result = {}
# <img />
result['selection'] = selected_html.find('h1').contents[0]
return result
field_order = ['date', 'info']
fields = {'date' : 'Date',
'info' : 'Info'}
def write_row(selected_html):
file_name = "WrittenNames" + ".csv"
if os.access(file_name, os.F_OK):
file_mode = 'ab'
else:
file_mode = 'wb'
csv_writer = csv.DictWriter(
open(file_name, file_mode),
fieldnames=field_order,
extrasaction='ignore',
)
if file_mode == 'wb':
csv_writer.writerow(fields)
csv_writer.writerow(selected_html)
if __name__ == '__main__':
html = get_html()
row_to_write = parse_section_html(html)
row_to_write['date'] = time.strftime("%Y-%m-%d %H:%M")
write_row(row_to_write)
print row_to_write
这是网页:
http://www.photosbywagner.com/galleryone.html
我要拉的部分是:
<div id="headcontainer"><h1>Ed Wagner Photo Gallery:</h1></div>
我不确定我在这里遗漏了什么,因为其他所有内容似乎都已检查 - 它提取正确的信息并将其打印到屏幕上,它只是不会保存到 CSV。
谢谢。