我想从网站上获取每日日出/日落时间。是否可以使用 Python 抓取网页内容？使用了哪些模块？有没有可用的教程？
问问题
206839 次
10 回答
194
将 urllib2 与出色的BeautifulSoup库结合使用：
import urllib2
from BeautifulSoup import BeautifulSoup
# or if you're using BeautifulSoup4:
# from bs4 import BeautifulSoup
soup = BeautifulSoup(urllib2.urlopen('http://example.com').read())
for row in soup('table', {'class': 'spad'})[0].tbody('tr'):
tds = row('td')
print tds[0].string, tds[1].string
# will print date and sunrise
于 2010-01-17T18:08:41.760 回答
63
我真的会推荐 Scrapy。
引用已删除的答案：
- Scrapy crawling 比 mechanize 最快，因为它使用异步操作（在 Twisted 之上）。
- Scrapy 在 libxml2 之上对解析 (x)html 有更好和最快的支持。
- Scrapy 是一个成熟的框架，具有完整的 unicode、处理重定向、压缩响应、奇数编码、集成 http 缓存等。
- 进入 Scrapy 后，您可以在 5 分钟内编写一个蜘蛛程序，下载图像、创建缩略图并将提取的数据直接导出为 csv 或 json。
于 2011-12-22T11:12:48.000 回答
17
我将网络抓取工作中的脚本收集到了这个bit-bucket 库中。
您的案例的示例脚本：
from webscraping import download, xpath
D = download.Download()
html = D.get('http://example.com')
for row in xpath.search(html, '//table[@class="spad"]/tbody/tr'):
cols = xpath.search(row, '/td')
print 'Sunrise: %s, Sunset: %s' % (cols[1], cols[2])
输出：
Sunrise: 08:39, Sunset: 16:08
Sunrise: 08:39, Sunset: 16:09
Sunrise: 08:39, Sunset: 16:10
Sunrise: 08:40, Sunset: 16:10
Sunrise: 08:40, Sunset: 16:11
Sunrise: 08:40, Sunset: 16:12
Sunrise: 08:40, Sunset: 16:13
于 2011-12-22T07:46:36.237 回答
10
我强烈建议检查pyquery。它使用类似 jquery（又名 css-like）的语法，这使得来自该背景的人变得非常容易。
对于您的情况，它将类似于：
from pyquery import *
html = PyQuery(url='http://www.example.com/')
trs = html('table.spad tbody tr')
for tr in trs:
tds = tr.getchildren()
print tds[1].text, tds[2].text
输出：
5:16 AM 9:28 PM
5:15 AM 9:30 PM
5:13 AM 9:31 PM
5:12 AM 9:33 PM
5:11 AM 9:34 PM
5:10 AM 9:35 PM
5:09 AM 9:37 PM
于 2013-05-21T04:09:58.357 回答
7
您可以使用urllib2发出 HTTP 请求，然后您将拥有 Web 内容。
你可以像这样得到它：
import urllib2
response = urllib2.urlopen('http://example.com')
html = response.read()
Beautiful Soup是一个 Python HTML 解析器，应该对屏幕抓取有好处。
特别是，这里是他们关于解析 HTML 文档的教程。
祝你好运！
于 2010-01-17T16:13:38.633 回答
4
我使用Scrapemark（查找 url - py2）和httlib2（下载图像 - py2+3）的组合。scrapemark.py有500行代码，但是使用了正则表达式，所以可能没那么快，没有测试。
抓取您的网站的示例：
import sys
from pprint import pprint
from scrapemark import scrape
pprint(scrape("""
<table class="spad">
<tbody>
{*
<tr>
<td>{{[].day}}</td>
<td>{{[].sunrise}}</td>
<td>{{[].sunset}}</td>
{# ... #}
</tr>
*}
</tbody>
</table>
""", url=sys.argv[1] ))
用法：
python2 sunscraper.py http://www.example.com/
结果：
[{'day': u'1. Dez 2012', 'sunrise': u'08:18', 'sunset': u'16:10'},
{'day': u'2. Dez 2012', 'sunrise': u'08:19', 'sunset': u'16:10'},
{'day': u'3. Dez 2012', 'sunrise': u'08:21', 'sunset': u'16:09'},
{'day': u'4. Dez 2012', 'sunrise': u'08:22', 'sunset': u'16:09'},
{'day': u'5. Dez 2012', 'sunrise': u'08:23', 'sunset': u'16:08'},
{'day': u'6. Dez 2012', 'sunrise': u'08:25', 'sunset': u'16:08'},
{'day': u'7. Dez 2012', 'sunrise': u'08:26', 'sunset': u'16:07'}]
于 2012-12-01T14:40:17.450 回答
1
通过使用让您的生活更轻松CSS Selectors
我知道我来晚了，但我有一个很好的建议给你。
已经建议使用，BeautifulSoup我宁愿使用CSS Selectors它来抓取 HTML 中的数据
import urllib2
from bs4 import BeautifulSoup
main_url = "http://www.example.com"
main_page_html = tryAgain(main_url)
main_page_soup = BeautifulSoup(main_page_html)
# Scrape all TDs from TRs inside Table
for tr in main_page_soup.select("table.class_of_table"):
for td in tr.select("td#id"):
print(td.text)
# For acnhors inside TD
print(td.select("a")[0].text)
# Value of Href attribute
print(td.select("a")[0]["href"])
# This is method that scrape URL and if it doesnt get scraped, waits for 20 seconds and then tries again. (I use it because my internet connection sometimes get disconnects)
def tryAgain(passed_url):
try:
page = requests.get(passed_url,headers = random.choice(header), timeout = timeout_time).text
return page
except Exception:
while 1:
print("Trying again the URL:")
print(passed_url)
try:
page = requests.get(passed_url,headers = random.choice(header), timeout = timeout_time).text
print("-------------------------------------")
print("---- URL was successfully scraped ---")
print("-------------------------------------")
return page
except Exception:
time.sleep(20)
continue
于 2015-02-08T13:52:29.320 回答
1
如果我们想从任何特定类别中获取项目的名称，那么我们可以通过使用 css 选择器指定该类别的类名来做到这一点：
import requests ; from bs4 import BeautifulSoup
soup = BeautifulSoup(requests.get('https://www.flipkart.com/').text, "lxml")
for link in soup.select('div._2kSfQ4'):
print(link.text)
这是部分搜索结果：
Puma, USPA, Adidas & moreUp to 70% OffMen's Shoes
Shirts, T-Shirts...Under ₹599For Men
Nike, UCB, Adidas & moreUnder ₹999Men's Sandals, Slippers
Philips & moreStarting ₹99LED Bulbs & Emergency Lights
于 2017-04-30T15:22:42.063 回答
0
这是一个简单的网络爬虫，我使用了 BeautifulSoup，我们将搜索类名为 _3NFO0d 的所有链接（锚点）。我使用了 Flipkar.com，它是一家在线零售商店。
import requests
from bs4 import BeautifulSoup
def crawl_flipkart():
url = 'https://www.flipkart.com/'
source_code = requests.get(url)
plain_text = source_code.text
soup = BeautifulSoup(plain_text, "lxml")
for link in soup.findAll('a', {'class': '_3NFO0d'}):
href = link.get('href')
print(href)
crawl_flipkart()
于 2017-03-21T15:01:19.277 回答
0
Python 有很好的选择来抓取网络。最好的有框架的是scrapy。对于初学者来说可能有点棘手，所以这里有一点帮助。
1.安装python 3.5以上（低于2.7的都可以）。
2. 在 conda 中创建一个环境（我做了这个）。
3.在某个位置安装scrapy，然后从那里运行。
4.Scrapy shell会给你一个交互界面来测试你的代码。
5.Scrapy startproject projectname会创建一个框架。
6.Scrapy genspider spidername将创建一个蜘蛛。您可以根据需要创建任意数量的蜘蛛。执行此操作时，请确保您位于项目目录中。
The easier one is to use requests and beautiful soup. Before starting give one hour of time to go through the documentation, it will solve most of your doubts. BS4 offer wide range of parsers that you can opt for. Use user-agent and sleep to make scraping easier. BS4 returns a bs.tag so use variable[0]. If there is js running, you wont be able to scrape using requests and bs4 directly. You could get the api link then parse the JSON to get the information you need or try selenium.
于 2018-10-22T02:05:39.210 回答