Python 和 Google App Engine 专家,
我想检索位于此链接的道明银行抵押贷款利率网站:
“http://tdbank.mortgagewebcenter.com/Default.asp”
今天晚上我通过教程学习了 Python 和 Google App Engine,但我一直被我认为可能是 GZIP 问题所困扰。
理想情况下,我希望有人修复我在下面粘贴的代码。或者提供正确的代码(如果这样更容易)以成功接收该网页并能够在 python/google 应用程序引擎中解析它。
尝试 1 - URLFETCH
import webapp2
import gzip
import StringIO
from google.appengine.api import users
from google.appengine.api import urlfetch
from BeautifulSoup import BeautifulSoup
class MainPage(webapp2.RequestHandler):
def get(self):
url = "http://tdbank.mortgagewebcenter.com/Default.asp"
result = urlfetch.fetch(url=url,headers={'User-Agent': 'Mozilla/5.0',
'Accept': 'text/html',
'Accept-Language': 'en-us,en',
'Accept-Encoding': 'gzip',
'Connection': 'keep-alive'})
f = StringIO.StringIO(result.content)
c = gzip.GzipFile(fileobj=f)
content = c.read()
self.response.out.write(content)
app = webapp2.WSGIApplication([('/', MainPage)],
debug=True)
尝试 2 - URLLIB2
import cgi
import webapp2
import gzip
import StringIO
import urllib2
import httplib
from BeautifulSoup import BeautifulSoup
class MainPage(webapp2.RequestHandler):
def get(self):
httplib.HTTPConnection.debuglevel = 1
url = urllib2.Request('http://tdbank.mortgagewebcenter.com/Default.asp')
url.add_header('Accept-encoding', 'gzip')
url.add_header('User-Agent', 'Mozilla/5.0')
opener = urllib2.build_opener()
f = opener.open(url)
compresseddata = f.read()
compressedstream = StringIO.StringIO(compresseddata)
c = gzip.GzipFile(fileobj=compressedstream)
content = c.read()
self.response.out.write(content)
app = webapp2.WSGIApplication([('/', MainPage)],
debug=True)
YAML 文件:
application: fimrates
version: 2
runtime: python27
api_version: 1
threadsafe: true
handlers:
- url: /.*
script: fimrates.app
在这两种情况下,我的浏览器都会被重定向到
http://localhost:8080/Default.asp?bhjs=1&bhqs=1
如果我将尝试读取的 URL 更改为另一个网页,例如 www.google.com,则输出会正确打印。
提前感谢您的帮助,我真的很感激。
-托德