我在 Cloudera 生态系统中工作,作为初学者,我从实现 flume twitter 示例开始并成功完成了它。现在,每当我想从 Twitter 为不同的关键字流式传输数据时,我都必须进入 Twitter 的配置文件并对其进行编辑,然后使用终端执行水槽代理。
我在想一种方法让用户打开一个表单并在其中输入关键字并执行水槽代理以从 Twitter 获取数据,而不是每次都去 twitter 配置文件。为此,我想知道 Cloudera 生态系统中是否有任何工具可以实现我上面讨论的想法?
我在 Cloudera 生态系统中工作,作为初学者,我从实现 flume twitter 示例开始并成功完成了它。现在,每当我想从 Twitter 为不同的关键字流式传输数据时,我都必须进入 Twitter 的配置文件并对其进行编辑,然后使用终端执行水槽代理。
我在想一种方法让用户打开一个表单并在其中输入关键字并执行水槽代理以从 Twitter 获取数据,而不是每次都去 twitter 配置文件。为此,我想知道 Cloudera 生态系统中是否有任何工具可以实现我上面讨论的想法?
Cloudera Manager 是唯一允许 Flume 代理配置的界面,AFAIK。
否则,您将不得不制作自己的 UI 来完成如此具体的事情。
如果可能,您可以通过名为 Streamsets 的 Parcel 安装一个单独的工具,这是一个更完整和可编程的流媒体工具,由与 Flume 相同的一些人开发。