问题标签 [morphline]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
45 浏览

morphline - 是否可以使用 Morphline 的内置命令集添加两个变量的值?

我想知道是否有任何方法可以在 morphlines 中添加两个变量的值,而无需编写自定义命令。

例如,类似:

任何帮助表示赞赏,谢谢

0 投票
1 回答
420 浏览

flume - 错误水槽 MorphlineSolrSink readJson java.lang.NoSuchFieldError: USE_DEFAULTS

我正在尝试从 avro 源读取 json 并接收到 Solr。当我尝试readLine {}并存储为字符串时,它起作用了。但是当尝试readJson{}它抛出以下错误时。

版本:CDH 5.9.0,包裹

错误

水槽配置:

吗啉配置文件

SOLR_LOCATOR:{集合:testCollection zkHost:“192.168.21.31:2181/solr”}

morphlines : [ { id : morphline1 importCommands : ["com.cloudera. ", "org.apache.solr. ", "org.kitesdk.**"]

0 投票
1 回答
447 浏览

flume - Flume morphline拦截器-拆分命令

嗨,我正在尝试使用 morphline inteceptor 并将我的系统日志转换为 JSON 以开始我尝试使用 split 命令来拆分我的字符串,但我收到如下错误:

"" 源 r1 已因配置过程中的错误而被删除 com.typesafe.config.ConfigException$WrongType: /root/flume.17/conf/morph.conf: 21: 无法将对象或列表与非对象或列表连接起来-list, ConfigString("split") 和 SimpleConfigObject({"outputFields":"substrings","inputField":"message","addEmptyStrings":false,"isRegex":false,"trim":true,"separator" :" "}) 不兼容""

我的吗啉配置文件:

我该怎么办?我是新手

0 投票
1 回答
466 浏览

indexing - 使用 Cloudera Search 索引 PDF 文档

我一直在尝试使用 Cloudera Search aka Apache Solr 索引 pdf 文档。首先,我能够索引 twitter 推文。后来我尝试索引 PDF 文件。我已经使用solrctl默认模式创建了相应的集合。我使用的morphline文件是(我在这里屏蔽了zkHost的IP地址)......

PDF 元数据字段存在于 schema.xml 文件中,例如...

但在 solr /select 查询输出中,我只得到内容和内容类型字段。如何获取 solr 前端查询中的所有元数据?我是否需要修改 schema.xml 或相应的 morphline 文件?我还可以索引 PDF 内容中的字段吗?

我用来索引pdf文件的命令是:

提前致谢。

0 投票
1 回答
337 浏览

hive - 如何使用 Morphline readAvroParquetFile 和 solar 从镶木地板文件中读取十进制值

具有两列的表(名称字符串,工资小数(10,3)并以镶木地板格式存储在配置单元中。使用 Morphline 和太阳能执行索引时,出现以下异常:

Morphline 文件中的以下内容:

有关如何索引表的镶木地板文件的任何帮助都包含使用 Morphline 和太阳能的十进制列。

0 投票
2 回答
273 浏览

hadoop - MapReduceIndexerTool 的 morphline 应该如何?

我想有效地搜索大量日志(大约 1 TB 大小,放置在多台机器上)。

为此,我想构建一个由 Flume、Hadoop 和 Solr 组成的基础架构。Flume 将从几台机器获取日志并将它们放入 HDFS。

现在,我希望能够使用 map reduce 作业索引这些日志,以便能够使用 Solr 搜索它们。我发现MapReduceIndexerTool为我做了这个,但我发现它需要一个morphline

我知道吗啉通常会对它所获取的数据执行一组操作,但是如果我想使用 MapReduceIndexerTool,我应该执行什么样的操作?

我在适用于此地图缩减作业的 morphline 上找不到任何示例。

恭敬地谢谢你。

0 投票
0 回答
63 浏览

solr - 如何使用 Morphlines conf 文件读取 DECIMAL(38,10)

我想使用 Morphlines 读取镶木地板文件。参考:https ://medium.com/@bkvarda/index-parquet-with-morphlines-and-solr-20671cd93a41

此 Parquet 文件具有 DECIMAL 数据类型。我没有找到任何文档,如何在 Morphlines 中处理 DECIMAL。我在 conf 文件中使用以下代码,但它不起作用。=============================test_morphlines.conf=================== =========== 命令:[

,{"name": "alert_id","type":["bytes","null"],"logicalType":"decimal","precision":38,"scale":10,"default":0 } ]
}"""