-1

我需要使用 Twitter 搜索 API 并将 Twitter 数据放入我的 HDFS。搜索 API 使用 REST 调用，我试图了解如何将它与 Apache Flume 一起使用。我需要授权密钥才能使用 Twitter 的 API，但我只是不明白如何使用 Flume 实现搜索 API。需要帮忙！谢谢！

4

2 回答 2

0
  1. 在 twitter 中创建一个开发者帐户并生成您自己的密钥。
  2. 将flume-source-1.0-SNAPSHOT.jar文件添加到 lib 文件夹中。
  3. 使用密钥创建一个水槽配置文件以从 twitter 获取推文并将其存储到 hdfs 中。
  4. 使用下面的命令开始你的水槽

命令 ：bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

有关更多详细信息，请参阅以下链接：

http://www.thecloudavenue.com/2013/03/analysis-tweets-using-flume-hadoop-and.html

于 2014-11-11T09:16:20.317 回答
0

首先，您需要在 twitter 中创建应用程序。转到 https://apps.twitter.com/并创建应用程序，然后记住生成的四个密钥——消费者密钥、消费者秘密密钥、访问令牌和访问令牌秘密。

下载apache-flume-1.x.0-bin.tar.gz.here x 表示最新版本。解压文件后将以下命令添加到~/.bashrc文件中：

export FLUME_HOME=location of untar flume file
export PATH=$PATH:$FLUME_HOME/bin

保存上述文件后source ~/.bashrc在终端中运行。在此之后遵循以下站点命令：

https://acadgild.com/blog/streaming-twitter-data-using-flume/

于 2017-03-30T14:41:56.487 回答