hadoop - 在 Storm 中添加外部数据源

Question

我是 Apache Storm 的新手。我目前已经完成了字数问题。目前我的数据源（包含单词的文件）在我的本地系统中。但现在我需要这个文件在外部系统中。即，如果我告诉外部系统的 ip 和文件路径，那么我的应用程序是否可以从该文件（远程）获取数据？

Answer 1

一种选择是将您的文件提供给 MongoDB，并让您的 spout 从 MongoDB 中提取文件。看看Storm Mongo。但请记住文件的大小。您不想将大文件作为“元组”传输。