我正在使用 scrapinghub 服务中的自动抓取功能。
在构建和部署 autoscraper 时，我发现我想抓取的站点永远不会返回任何请求，并且会在 3.5 分钟左右超时。
所以，我开始阅读文档，看看我是否能弄清楚为什么会发生这种情况（如何检查网站是否适合自动抓取）。
我按照这些步骤暂时从我的浏览器（chrome）中删除了 Javascript，发现我在查看我想抓取的网站时没有问题。
我的问题是，有可能听起来含糊不清，除了 Javascript，网站不可抓取的其他原因可能是什么？关于如何诊断这样的问题还有其他想法吗？