问题标签 [ingest]

elasticsearch提供了在文档被索引时转换文档的摄取机制。处理器可以转换字段，从索引文档中添加和删除字段。在极少数情况下，甚至可以编写自己的转换插件。但是，我找不到为单个输入文档生成多个输出文档的任何可能性。以某种方式使用ingest弹性模块有可能吗？我想将单个文档拆分为多个文档。输入和转换后的文档之间是否总是必须是一对一的关系？

在摄取节点管道中解析日期和时间的问题。

解析 Cloudfront 日志时间戳的问题：

日志示例：

管道：

在 json 看：

在 logstash 配置中看起来像这样：

这是任何将 Logstash 配置转换为摄取管道配置的转换器？

所以我试图从csv中提取数据，但似乎我失败了

我已经试过了，但似乎我总是弄错了

这是我的消息数据

这是我的模式

我的结果

我有一个 nifi 流程，包括将 xml 中的值引入配置单元表。我需要自动进行 xml 评估，因为它有很多值。

现在我正在通过手动将xml中的所有元素引入到evaluatexpath中来指示每个元素的xpath。每个元素都作为属性传递给 AttributestoJSON。

我想要实现的是通过读取 xml 中的所有组件自动将该 xml 中的所有元素作为属性传递给 AttributestoJSON。

无法将对象数组或 csv 文件中的数据插入 kusto 表

我的目标是在 Azure DevOps 中构建一个管道，该管道使用 PowerShell 读取数据并将数据写入 Kusto 表。

我能够将从 PowerShell 读取的数据写入对象数组或 csv 文件，但我无法弄清楚将这些数据插入 Kusto 表的方式。

任何人都可以建议将数据写入 kusto 的最佳方法

...因为这个简单的问题而吓坏了：

我正在使用带有 gsub 处理器的Ingest 管道来替换除最后一个. 例如：

"hello world regex is fubar "以导致"hello, world, regex, is, fubar"

如何转换PCRE语法（我发现它不适用于 gsub TRE 模式）

对于POSIX，就像...

（仅交换空间，而不是环视）

编辑：因为我只能在字符串中提供正则表达式，所以我不能使用 gsub 以外的其他处理器。'\s' 或 '\S' 显然被标记为“未知”。

我对hadoop很陌生，请寻求您的帮助。我正在将文件从一个目录消化到另一个目录的过程。我使用的以下命令：

块引用 hadoop fs -copyFromLocal ./tmp/text.txt ./tmp/harSourceFolder2

但结果总是失败。以下结果：

Blockquote 2020-02-08 14:53:42,448 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable copyFromLocal: ./tmp/harSourceFolder2': No such file or directory:hdfs://localhost:9000/user/hduser1/ tmp/harSourceFolder2'

谁能帮我？

我有用于弹性搜索和 kibana 的 dockerized 容器运行，一旦我启动 docker 容器，它就会自动安装一些插件。

我需要编辑 config/elasticsearch.yml 文件以启用该插件的使用，并且我试图找到完成它的方法，类似于我通过文件安装插件的方式，如下所示

I have an Excel file people use to edit data outside Azure Data Explorer (Kusto). What is the Kusto code I would use to ingest this data as needed into Kusto query?

So far it seems I need to use:

.create table (Name:type, Name:type)

to create a table.

If my CSV file is stored in OneDrive, what is the syntax to fill the table? Assume the file name is Sample.csv.

我尝试将 azure function app 中的数据提取到 ADX 数据库中。我按照此处文章中的说明进行操作。

不同的是，我想将数据插入表中。我遇到了 403 错误“Principal 'aadapp=;' 无权访问表”

我做了什么：我创建了一个具有以下 API 权限的 AAD 应用程序： AAD 应用程序配置权限

我通过 Kusto Explorer 配置了数据库：

.add 数据库 myDB 摄取器 ('aadapp=;') 'theAADAppname'

.add table PressureRecords ingestors ('aadapp=;') 'theAADAppname'

.add table TemperatureRecords ingestors ('aadapp=;') 'theAADAppname'

我的代码：