1

我正在寻找一种方法来自动化一项非常耗时的任务。我们有制造商名称和产品编号，我们会在网络上搜索以查找同时具有信息的站点，或者更确切地说是搜索制造商或供应商站点，并使用链接上的信息来填充我们数据库中的相关字段。

手动搜索过程会消耗大量时间，我正在寻找一种工具，它可以将名称和产品＃作为输入在网络上搜索与输入匹配的站点并转储这些链接。

有人能帮我一下吗！

4

1 回答 1

1

您要实现的目标需要大量工作，恐怕您没有提供足够的信息让我深入了解细节。然而，概括地说，一个简单的爬虫算法需要以下步骤：

  • 为所需的 url创建一个HttpWebRequest实例。如果您需要执行 POST 请求，请使用GetRequestStream()方法填充正文。
  • 在请求上调用GetResponse()以从服务器获取响应。使用GetResponseStream()从响应中读取 HTML 标记；
  • 使用HtmlAgilityPack遍历 DOM 节点并选择所需的数据。
  • 使用Fiddler查看浏览器发送的内容与您的应用程序发送的内容之间的区别。
  • 最后但同样重要的是，如果您遇到无法解决或不知道答案的问题 - 您已经知道如何使用StackOverflow :)
于 2012-12-13T07:28:38.460 回答