c# - 网络爬虫点击网页上特定元素的逻辑是什么

Question

我编写了一个爬虫应用程序，它打开给定的网页并获取 HTTP 请求并存储到 excel 表中。

现在，我有一些按钮，我已经使用 jQueries 绑定了单击事件（或者您可以考虑按钮的 onClick 事件）。现在可能是什么逻辑，让我的爬虫点击这些按钮并获取 HTTP 请求并执行与我之前所说的相同的事情。

那么简单来说，如何让我的爬虫点击按钮呢？

Answer 1

1. 首先，您必须制作一个可以理解和解析 javascript 的爬虫。
2. 即使您能够做到这一点，您是否能够从中获取链接也取决于单击功能/ OnClick 的实现。例如，通过 document.location 给出的链接可以理解，但如果链接是通过 ajax 调用生成的，则很难理解。

这是网站上的 SEO 内容不通过 javascript 加载的主要原因