c# - 通过 ASP.NET MVC 和 C# 询问其他网站

Question

我想知道如何在网站中实现一个功能，要求其他网站提供结果，然后保留这些结果并进行比较或显示。例如，如果提供产品的网站没有用于外部应用程序的 API，我如何在没有人工活动的情况下通过自动化系统在其中进行搜索？简而言之，我要实现的功能是一个微型搜索引擎，它只限于某些网站，而不是整个网络。你有想法吗？有必要研究任何一个外部网站以及其中每个搜索页面所要求的方法吗？

谢谢，最好的问候。

Answer 1

您正在寻找的术语是“屏幕抓取”。如果站点没有 API，您的主要选择是以编程方式复制用户 Web 浏览器发出的相同请求，然后从响应中返回的 HTML 中提取您需要的内容。由于客户端跨域请求受到大多数浏览器的限制，因此您需要在服务器端执行此操作。

Answer 2

您可以将目标站点拉入流中并解析出所需的信息。这是一种丑陋的方法，但是根据提供的信息，我不确定您还能如何尝试。