flume - Flume morphline 拦截器：用于数据清洗

Question

我有一个实时的简单结构化输入。但它的值也有垃圾，比如在某个地方有“@”或十六进制字符。

如何使用 morphline 水槽拦截器来清理数据？

我这里的水槽将是 hbase。

Answer 1

听起来您可以使用 Morphline over flume 来满足您的要求。一般来说，Morphline 提供了一些用于解析和转换数据的基本功能。最重要的是，您可以构建自己的 Morphline 命令，然后在您的 morphlines 配置中使用您的自定义方法。