-1

我想自动访问 JSON 提要。

假设给我这个网站，表格中的信息是通过另一个链接获得的：（http://www.cmegroup.com/CmeWS/mvc/ProductSlate/V1/List/500/1?sortField=oi&sortAsc=false&venues=3&page=1&cleared=1&group=7&r=rSG3qVq3 来自XHR）但是还有3个其他页面（显示在表格上方），其中也包含这样的表格。我想访问（假设 n 页）和（n 个表，每页 1 个）。有自动的方法吗？

现在，我已经复制了每个 JSON 提要的链接，并将它们存储在我从文件中读取的 txt 文件中。

4

2 回答 2

1

我打开了 chrome 的开发者工具网络选项卡。当点击第二页的链接时，这是 XHR url：

http://www.cmegroup.com/CmeWS/mvc/ProductSlate/V1/List/500/2?sortField=oi&sortAsc=false&group=7&page=2&r=hkVMMcCL

如您所见，您需要更改/List/500/1以及更改page=1字段。开发人员工具对这类事情非常有用。

于 2013-05-21T14:18:28.297 回答
1

更改字段500/1和page=1url。就像是：

page = 2
url = 'http:/ ... st/500/{0}?sortField=oi ... page={0}&clear ...'.format(page)

要找出您应该废弃原始页面的页面数，例如（未测试）使用pyquery：

from pyquery import PyQuery as pq
d = pq(html)
selector = '#cmeProductSlatePaginiationTop ul'
n_pages = len(d(selector))-2
于 2013-05-21T14:13:13.487 回答