web-crawler - Mozmill : 关键字列表 --> Google 中的第一个结果 URL

Question

我有一个关键字列表。使用 Mozmill，我想在 Google 上进行搜索时获得每个关键字的第一个结果 URL

Answer 1

您必须向 MozMill 提供它应该抓取的 URL 列表，因此您必须生成要抓取的页面的 URL。Google 支持各种查询，以下是 URL 的格式：http://www.google.com/search?q=keyword

您必须将“关键字”替换为您的实际关键字，因此假设您的关键字包括单词dentist, iphone, eye drops，您将生成以下 3 个 URL：

http://www.google.com/search?q=dentist http://www.google.com/search?q=iphone http://www.google.com/search?q=eye%20drops（注意：空格是 URL 编码的）

以下是您可以在 Google URL 中拥有的所有参数的一些更详细的说明：

• 谷歌搜索 URL 显示或如何创建自己的搜索 URL
• Google 搜索 URL 参数 - 查询字符串剖析

从那时起，您将不得不做一些工作才能正确选择结果 URL（即您必须编写一些代码）。我不认为 MozMill 提供开箱即用的功能，而且我认为没有任何其他爬虫可以提供。