python - 在 python-scrapy 的帮助下解析 ajax 表单请求时需要帮助

Question

即使我是scrapy 框架的新手，我也可以使用scrapy 编写好的蜘蛛。最近我遇到了这个页面，通过输入地址，在提交时我必须捕获纬度和经度。有人可以帮忙吗？

此代码适用于正常的发布请求：

return [FormRequest.from_response(response,
                    formdata={'username': 'john', 'password': 'secret'},
                    callback=self.after_login)]

但是像上面这样的基于 ajax 的表单请求呢？

Answer 1

该站点使用 Google Maps Geocode 来获取数据，因此使用 Google 的 API 更容易。

它要求：

Request URL:http://maps.googleapis.com/maps/api/js/GeocodeService.Search?4s12%20Street%2C%20New%20York%2C%20NY&7sUS&9sen-US&callback=_xdc_._8xnwgc&token=93301

您不妨注册 Google Maps API并自己查询它们 :)