javascript - 由于未启用 javascript，爬网网站失败

Question

我使用 Abot 进行爬行，

我想抓取一个似乎阻止任何未启用 javascript 的请求的网站，它是一个 php 页面，我得到一个“请激活 javascript 以查看此站点”。而不是真实的网站

页面如何知道是否启用了 javascript？（在你看来——你认为我能克服这个问题吗？）

谢谢

Answer 1

除非您使用启用了 javascript 的客户端抓取该站点，否则您将不走运。