0

最近 kimonolabs 宣布他们将关闭，这是一个重大的失望，因为我的应用程序在获取数据方面严重依赖这项服务。他们只是关闭这项服务真是令人失望。与此同时，我一直在使用 import.io，但它与和服的标准相去甚远，并且缺少一些功能。

我想知道是否有任何类似于和服的服务具有以下功能：

  • 计划抓取，即每 24 小时计划一次抓取，或者您也可以调用链接来更新抓取的最新数据。
  • 批量或单个 url 抓取，即输入一个列表或单个 url 来抓取。
  • 调用链接以获取 JSON 中的爬网结果。
  • 使用单个 api 键调用 api。
  • 大多数这些功能都是免费的。

或者，我可能很想创建自己的，只是我不想增加学习 Node.js 或 Python 的开发时间，这就是我问这个问题的原因。

4

3 回答 3

1

披露：我在 Portia 的创建者 Scrapinghub 工作。

Portia是一个开源的可视化抓取工具，它允许您通过指向并单击您尝试从中获取数据的网页来进行抓取。

Scrapy cloud有一个托管版本，您可以免费创建一个帐户并获得：

  • 通过 Scrapy Cloud Web UI 和 API 安排您的 Portia Spiders。
  • 使用 API 获取项目
  • 使用 scrapy 插件（例如执行增量爬取、将图像下载到 s3 等）。
  • 和别的。

在这里你可以看到波西亚在行动

[编辑] 您还可以使用此工具将您的 kimonolabs 项目自动移植到 portia

于 2016-02-24T22:58:17.010 回答
1

更新：2018 年 12 月 -代理现已全面上市

如果您正在寻找桌面应用程序，Data Scraping Studio 具有与 Kimono 相同的更多功能。或者您可以将它安装在 Windows 服务器上，以制作您自己的 Kimono++完全替代品

在此处输入图像描述

仅供参考：我们还计划在 2016 年 4 月之前推出托管解决方案和 REST API

您现在可以在Agenty.com网站(www.datascraping.co)上查看更多详细信息

披露：我是创始成员之一

于 2016-02-24T05:01:11.027 回答
0

我和我的团队正在开发一个非常相似的工具，我们将很快推出它。这里有更多关于它的信息：

Automatio是Web 自动化工具，您可以使用它以非常简单的方式从任何网站上抓取数据。

其中一些特点是：

  • 预览不同格式的报废数据，如 CSV、JSON、RSS 和 API。还有下载选项。

  • 从相同的数据生成小部件并获取 iframe 输出以显示在您的网站上。

  • 使用不同的图表类型可视化数据。

  • 支持常规分页和无限滚动

  • 调度和循环任务

  • 与其他平台集成

如果您有兴趣，可以在这里注册早期访问https://automatio.co

检查几个视频以查看它的实际效果：

于 2017-07-06T22:49:37.537 回答