4

我正在研究Hadoop with MongoDB as Database不是 HDFS。所以，我需要一些关于性能和可用性的指导。

我的场景

我的数据是

  • 来自推特的推文
  • Facebook 新闻提要

我可以从 twitter 和 Facebook API 获取数据。为了进行hadoop处理，我需要存储。

所以我的问题是，将 Hadoop 与 Mongo DB 一起使用来存储社交网络数据（如 Twitter 提要、Facebook 帖子等）是否可行（或有益）？还是最好使用 HDFS 并将数据存储在文件中。任何专业知识指导将不胜感激。谢谢

4

1 回答 1

1

这样做是完全可行的。但这主要取决于您的需求。基本上，一旦你有了数据，你想做什么？

也就是说，MongoDB 绝对是一个不错的选择。它擅长存储非结构化、深度嵌套的文档，例如您的 JSON。您不必太担心数据中的嵌套和关系。您也不必担心架构。无模式存储无疑是使用 MongoDB 的一个令人信服的理由。

另一方面，我发现 HDFS 更适合平面文件，您只需选择规范化的数据并开始处理。

但这些只是我的想法。其他人可能有不同的看法。我的最终建议是很好地分析您的用例，然后确定您的商店。

高温高压

于 2013-09-06T22:02:24.300 回答