问题标签 [ingest]

用户从聊天机器人 UI发送 Hi there !（存储在）；message.text但是， ConversationPlugin's ingest 中间件 message.text  变为 value  Hello。receive  我的问题是：为什么中间件运行时不保留这个值 ？（参见下面的日志）这种行为对我的应用程序至关重要。我需要确保 botkit 消息一直记住/保留我的突变（一直在转弯）！

[2020-05-16T11:23:47.130] [DEBUG] - [ConversationPlugin.ingest()] before triggering the event 'userMessage' => message.text ==> Hi there ! [2020-05-16T11:23:47.132] [DEBUG] - [ConversationPlugin.ingest()] after triggering the event 'userMessage' => message.text ==> Hello [2020-05-16T11:23:47.142] [DEBUG] - [ConversationPlugin.receive()] message.text => Hi there ! [2020-05-16T11:23:47.143] [DEBUG] - [ConversationPlugin.receive()] The message text is => Hi there !

你能帮我理解/解决这个问题吗？

我有主机详细信息列表和日志目录。我需要获取日志以将关键字摄取到以下列表中的 splunk 警告、错误、关键、ORA-* 日志中

我需要根据尚未索引的新记录中的值更新已索引的几条记录的字段。有没有办法实现它？

下表描述了我对当前文档的索引。黄线将是一个新的文档到达。

规则：当收到最新的条目（新的“未索引条目”）且状态=关闭时，必须将组 1 的所有相应条目（来自现有索引）设置为颜色=红色

您能否让我知道如何实施的任何示例？

谢谢

马塞洛

我正在使用 AWS Glue 从 mysql 数据库中摄取。我知道在使用 pyspark-JDBC 摄取数据时可以使用自定义查询。基于爬虫摄取时是否同样适用？现在我正在使用这个：

有什么方法可以让我摄取，而不是整个桌子，只是其中的一部分？就像使用select * from table where column_x > value.

我正在使用附加处理器将 csv 数据摄取到 elasticsearch 中。我已经有两个作为对象的字段（object1 和 object2），我想将它们都附加到不同字段（主列表）的数组中。所以它会出现，因为mainlist:[ {object1}, {object}]我已经尝试使用 copy_from 参数设置处理器并且我收到一个错误，即我缺少所需的属性名称“值”，即使 ElasticSearch 文档显然没有使用“值”属性时它使用“copy_from”。 {"set": {"field": "mainlist","copy_from": ["object1", "object"]}}. 我的语法甚至完全从文档中复制而来。请帮忙。

此外，我需要在摄取级别删除空字段，以便它们不会被返回。我不希望将“fieldname：”返回给用户。最好的方法是什么。我是 ElasticSearch 的新手，但进展并不顺利。

我正在尝试重新索引数据并根据源文档中的字段进行一些计算。我已经使用摄取管道来丰富带有 geo_point 的文档，并且还想计算一些其他值。

我遇到的问题是源数据抛出一个错误，说它不能被强制转换。这里有详细信息：

原始（来自 ML csv 输入）：

但是，使用 ML 完成的导入清楚地说明了以下内容：

传入的原始数据是一致的，所有值都是严格的数字，没有引号等（前 3 个是重量、座位和人数：

为了澄清，稍后索引的映射/映射模板也显示了正确的类型：

现在，当我使用 Kibana 脚本字段时，我可以计算如下：

一切正常，我得到了计算的利用率。

当我尝试对摄取管道中的脚本执行相同操作时，如下所示：

我使用的代码如下：

我的问题是：

1. 为什么 ML 摄取行为不同（来自 csv 的原始数据完全相同，只有整数）
2. 我可以在摄取管道中做些什么来完成它
3. 是 kibana 索引模式方式与摄取管道一样高效，还是我应该在负载等方面坚持使用摄取管道。

感谢您的帮助和提示。

知助

我正在寻找一种 db2 方法来导入 .csv 文件（IMPORT.CSV），如下所示：

在 DB2 表 MY_TABLE 中：

我尝试了“INGEST”方法：

但结果是：

为什么？

使用摄取管道，我想遍历 HashMap 并从所有字符串值（存在下划线的地方）中删除下划线，使键中的下划线保持不变。有些值是数组，必须进一步迭代才能进行相同的修改。

在管道中，我使用一个函数来遍历和修改 HashMap 的 Collection 视图的值。

当我模拟管道摄取时，我发现字符串值没有被修改。我哪里错了？

我有一个弹性摄取管道，其中定义了 grok 处理器以及错误处理

我在我的 filebeat.yml 中指的是这个管道，当我在开发工具中进行模拟时，grok 过滤器会起作用。但是当我运行实际的日志记录时，我看不到日志语句。看起来它们无法被解析并且在 kibana 中不可见。我也没有看到创建的新索引，我希望看到在 on_failure 上定义的错误记录。有人可以建议或指点调试问题。

我如何从元数据中访问这个 on_failure_processor_type 和 on_failure_message ？

谢谢

谁能告诉我是否有一种方法可以按顺序调用 API 会使结果列表按顺序增长，而不是一次检索所有数据？例如第一次调用将返回一个空列表，第二个调用将返回一个项目，依此类推，直到所有数据都被完全摄取。该应用程序将是一个简单的 asp net API，它连接到摄取数据的 Postgres 数据库。谢谢！