我是 Apache Flume 的新手。我需要在 HDFS 集群环境之上安装水槽。我用谷歌搜索过,都说使用 cloudera 发行版,但我需要从源代码安装和配置。
那么任何人都可以建议我,从哪里开始以及如何自定义水槽代理和接收器服务?
我是 Apache Flume 的新手。我需要在 HDFS 集群环境之上安装水槽。我用谷歌搜索过,都说使用 cloudera 发行版,但我需要从源代码安装和配置。
那么任何人都可以建议我,从哪里开始以及如何自定义水槽代理和接收器服务?
我刚刚在 Ubuntu 上安装了 Apache Flume 1.3。
您需要为您的操作系统下载二进制 zip,解压缩并创建一个类似于 Java 中的属性文件的配置文件。
代理的安装和运行是一个愚蠢/简单的过程,只需阅读此内容
安装步骤
#step1
goto http://flume.apache.org/download.html
#click following link
apache-flume-1.4.0-bin.tar.gz
http://apache.mesi.com.ar/flume/1.4.0/apache-flume-1.4.0-bin.tar.gz
#Download apache-flume by double clicking on the above link
tar -xvzf apache-flume-1.4.0-bin.tar.gz
mv apache-flume-1.4.0-bin.tar.gz flume
chown -R hduser:hadoop flume
#go to flume conf path
../../flume/conf
vi flume-env.sh.template
#mention JAVA Path
#mantion flume Classpath
这是我整理的一个示例教程,它在 vagrant 环境中使用了 flume、apache、flask 和 kibana。
底部有一个视频可以提供更好的介绍:
在大数据大学提供的将数据迁移到 Hadoop的课程中:http : //bigdatauniversity.com/bdu-wp/bdu-course/moving-data-into-hadoop/教您介绍水槽和帮助您的实验室练习配置和运行水槽。
对于 CENT 操作系统
*step1 下载
[https://downloads.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][1]
*安装apache水槽“tar -xvf apache-flume-1.9.0-bin.tar.gz”
*移动“mv apache-flume-1.9.0-bin.tar.gz usr/local/flume”
*设置路径“vim /etc/profile”
“导出 FLUME_HOME=/usr/local/flume 导出 PATH=$PATH:$FLUME_HOME/bin”
*版本“flume-ng 版本”
*conf "usr/local/flume/conf" in flume-conf.properties 设置你的hadoop属性