1

如何在 HDFS 中存储特定的网站推文？

假设有一个网站 www.abcd.com，我想收集该网站的所有用户推文并存储到 HDFS 或 Hive 中。

Flume 和 sqoop 也有助于存储数据。

所以有人请建议我flume和sqoop如何在HDFS中存储推文？

4

1 回答 1

1

Sqoop 不是为此目的而制造的。Flume 用于满足这些需求。您可以编写自定义的 Flume 源，它将拉取推文并将它们转储到您的 HDFS 中。参见这个例子。它展示了如何使用 Flume 从 Twitter Streaming API 收集数据，并将其转发到 HDFS。

您可以在官方文档中找到更多信息。

于 2013-09-19T09:09:36.100 回答