我需要使用 Twitter 搜索 API 并将 Twitter 数据放入我的 HDFS。搜索 API 使用 REST 调用，我试图了解如何将它与 Apache Flume 一起使用。我需要授权密钥才能使用 Twitter 的 API，但我只是不明白如何使用 Flume 实现搜索 API。需要帮忙！谢谢！
问问题
268 次
2 回答
0
- 在 twitter 中创建一个开发者帐户并生成您自己的密钥。
- 将flume-source-1.0-SNAPSHOT.jar文件添加到 lib 文件夹中。
- 使用密钥创建一个水槽配置文件以从 twitter 获取推文并将其存储到 hdfs 中。
- 使用下面的命令开始你的水槽
命令 ：bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent
有关更多详细信息，请参阅以下链接：
http://www.thecloudavenue.com/2013/03/analysis-tweets-using-flume-hadoop-and.html
于 2014-11-11T09:16:20.317 回答
0
首先，您需要在 twitter 中创建应用程序。转到 https://apps.twitter.com/并创建应用程序，然后记住生成的四个密钥——消费者密钥、消费者秘密密钥、访问令牌和访问令牌秘密。
下载apache-flume-1.x.0-bin.tar.gz.here x 表示最新版本。解压文件后将以下命令添加到~/.bashrc文件中：
export FLUME_HOME=location of untar flume file
export PATH=$PATH:$FLUME_HOME/bin
保存上述文件后source ~/.bashrc在终端中运行。在此之后遵循以下站点命令：
https://acadgild.com/blog/streaming-twitter-data-using-flume/
于 2017-03-30T14:41:56.487 回答