2

我正在阅读通过 Fi-Ware 安装 Bigdata 的教程。

https://github.com/telefonicaid/fiware-connectors/blob/develop/flume/README.md

我已经成功地完成了“安装 Cygnus 及其依赖项”的步骤。我意识到有一个新的 Cygnus 版本（本教程中使用的是 0.3 而不是 0.2.1）。我想知道是否有必要完成与依赖项安装相关的另一个步骤。

我在教程的下一段中找到

OrionCKANSink 依赖项

如果您没有将它们包含在 Cygnus 包中，则这些是您需要在 APACHE_FLUME_HOME/plugins.d/cygnus/libext 下安装的包：

json-simple-1.1.jar
OrionHDFSSink dependencies

如果您没有将它们包含在 Cygnus 包中，则这些是您需要在 APACHE_FLUME_HOME/plugins.d/cygnus/libext 下安装的包：

hadoop-core-0.20.0.jar (or higher)
hive-exec-0.12.0.jar
hive-jdbc-0.12.0.jar
hive-metastore-0.12.0.jar
hive-service-0.12.0.jar
hive-common-0.12.0.jar
hive-shims-0.12.0.jar

这些包不需要安装，因为它们已经包含在 Flume 包中（它们只是为了提供信息而列出）：

httpclient-4.2.1.jar
httpcore-4.2.2.jar

另外，如前所述，记得用这个覆盖 APACHE_FLUME_HOME/lib/libthrift-0.7.0.jar 包：

libthrift-0.9.1.jar

最后，如果您打算使用 OrionMySQLSink，请在 APACHE_FLUME_HOME/plugins.d/cygnus/libext 中包含最新的 MySQL 连接器：

mysql-connector-java-5.1.26-bin.jar

有没有更简单的方法来安装和配置 cygnus？似乎很难将 Bigdata 与 fi-ware 一起使用。

谢谢

4

1 回答 1

0

首先，一些重要的说明：

话虽如此，安装 Cygnus 还是很简单的。基本上，您必须安装Apache Flume，然后构建 Cygnus jar，其中将包含 Flume 的其他类。

Cygnus 0.1的构建很简单：

$ cd /path/to/cygnus/folder
$ /path/to/maven/bin/mvn package
$ cp target/cygnus-0.1.jar /path/to/flume/lib

由于此类版本不支持 MySQL 或 Hive 表自动创建，因此不需要其他任何内容。

Cygnus 0.2和Cygnus 0.2.1都需要几个第三方库，但它们中的大多数都通过使用此命令与 Cygnus 类本身打包在一起，如 README 中所述：

$ cd /path/to/cygnus/folder
$ /path/to/maven/bin/mvn clean compile assembly:single
$ cp target/cygnus-0.2.x-jar-with-dependencies.jar /path/to/flume/plugins.d/cygnus/lib

您唯一需要做的就是升级 Flume libthrift 库并将 MySQL 连接器复制到/path/to/flume/plugins.d/cygnus/libext. 您在自述文件中找到的库列表仅用于文档目的（如那里所述）。

无论如何，我们正在努力生成 RPM 以自动执行上述步骤。所以敬请期待！

于 2014-06-16T06:25:22.323 回答