api - 如何避免 Google Webmaster Tools API 限制

Question

我刚刚写了一个应用程序来获取谷歌网站管理员工具的抓取问题。API 的每个请求限制为 100 个条目。是否有任何解决方案或解决方法可以一次性解决所有爬网问题？

Answer 1

Google Api 查询瓶颈问题通常可以通过通过静态/动态内部线程运行率（即，与线程池/缓冲区的 java 并发）控制每个或（批量）查询线程来解决。简而言之，您会想要拥有自己的查询线程控制器。