我在 twitter 上创建了一个应用程序，我可以进行搜索并获得结果。例如，当我搜索#starbucks 时，它找到了 25.000 条推文，但最大分页限制为每页 100 条记录，这意味着我必须浏览 250 页才能将这些推文插入我的数据库。Twitter 返回 nextpage QueryString 很好，结果如下
- 鸣叫
- 鸣叫
- 推特... 99.tweet 100.tweet
下一页从 101 到 199..
我尝试了元刷新以自动导航，在发布表单下一页链接到元刷新 url http://example.com?q=#starbucks&count=100&max_id=xxxxxxxxxxxx/">
并在打开下一页后 60 秒，此过程一直持续到最后一页。
我的问题是如何使用 cronjob（vps、vds 或托管）在 linux 上执行此操作我可以请求第一页，因为表单与 get 请求一起工作，但 linux 可以自动导航页面吗？
谢谢你。