问题标签 [ingest]

在处理 DB2 时，我有 2 个表：

表_A >

2 列：CLAIM_ID、CODEID_A

表_B >

2 列：CLAIM_ID、CODEID_B

目标是编写一个 DB2 Update 语句，检查 TABLE_A 的 CLAIM_ID 是否与 TABLE_B 的 CLAIM_ID 相同，然后将 CODEID_A（TABLE_A 的 CLAIM_ID）替换为 CODEID_B（TABLE_B 的 CLAIM_ID）。

TABLE_A 和 TABLE_B 都有大约 4 亿行。VSch 是架构名称。

发现相关子查询应该可以工作：

这是两个表中的列结构和索引的详细信息 - TableA 和 TableB： https ://codeshare.io/armxAv

我的问题是，如果我们在这里使用 Ingest 而不是 Update，那会更快吗？

如果我们通过 DB2 Ingest 路径，我们可以首先 DB2 从 TABLE_B 中提取要更新的值列表到 FLAT 文件中，然后从该 FLAT 文件中执行 DB2 INGEST 到 TABLE_A 中。

就时间复杂度而言，这会是一种有效的方法吗？如果是，有人可以帮助我处理相同的摄取查询吗？

我已经为 Logstash 编写了管道文件，但我当前的客户反对使用 Logstash，并希望直接在 Elasticsearch 中摄取 Filebeat 生成的日志。

好吧，如果这真的是他想要的。但我找不到 Elasticsearch 的免费管道文件。我想使用 Dockerfile 将配置文件复制到映像中，然后使用 Compose 构建堆栈。为未来的客户制定一个很好的部署模式。

我正在使用堆栈的 7.11 版本，并且在 Elasticsearch 和 Kibana 的 Compose 文件以及 Filebeat 的另一个 Compose 方面有了一个良好的开端。我找不到允许将管道放入 ES 映像的语法。

有人可以指出我正确的方向吗？

谢谢！

背景：我想摄取由 modsecurity 丰富的 apache 错误日志。为此，我更改了 apache 模块的摄取管道。

modsecurity 日志不完全共享一个共同的模式。因此，我想为它们提供两种 grok 模式。我使用 grok 调试器来创建它们并且两者都可以工作。

问题是，它们似乎很慢：当我使用摄取管道模拟 API 测试它们时，我得到："grok pattern matching was interrupted after [1000] ms". 取决于我是否将匹配的 grok 模式作为patterns数组中的第一个或第二个元素。

为了解决这个问题，下面的 grok 模式：

^\[%{APACHE_TIME:apache.error.timestamp}\] \[\:%{LOGLEVEL:log.level}\] \[pid %{NUMBER:process.pid:long}\] \[client %{IPORHOST:source.address}:%{POSINT:source.port}.*\[file "%{PATH:modsec.rule.path}.* \[id "%{NUMBER:modsec.rule.number}"\] \[msg "%{MODSECMSG:message}.*? \[hostname "%{IPORHOST:host.hostname}"\] \[uri "%{URIPATH:url.path}"\] \[unique_id "%{MODSECMSG:modsec.unique_id}"\], referer\: %{URI:http.request.referrer}$

需要很长时间才能注意到它与此日志条目不匹配：

[Tue May 11 12:30:02.209790 2021] [:error] [pid 29329] [client 127.0.0.1:59586] [client 127.0.0.1] ModSecurity: Warning. Matched phrase "etc/passwd" at ARGS:page. [file "/usr/share/modsecurity-crs/rules/REQUEST-930-APPLICATION-ATTACK-LFI.conf"] [line "99"] [id "930120"] [msg "OS File Access Attempt"] [data "Matched Data: etc/passwd found within ARGS:page: /etc/passwd"] [severity "CRITICAL"] [ver "OWASP_CRS/3.1.0"] [tag "application-multi"] [tag "language-multi"] [tag "platform-multi"] [tag "attack-lfi"] [tag "OWASP_CRS/WEB_ATTACK/FILE_INJECTION"] [tag "WASCTC/WASC-33"] [tag "OWASP_TOP_10/A4"] [tag "PCI/6.5.4"] [hostname "localhost"] [uri "/dvwa/vulnerabilities/fi/"] [unique_id "YJp4yhyfYYeU0eSqwUU4GwAAAAA"]

因此解析失败并出现上述错误，因为下一个确实匹配日志条目的 grok 模式不再执行。

有没有办法可以优化我的模式或更改超时值？

我正在尝试将 json 文件摄取到 kusto（.zip 文件）中，并使用更新策略进一步处理 json

以上是在一行中摄取整个日志数组，但我希望将其扩展为多行

方法2：

上面很好地将日志扩展到多行（本例中为 2 行）但是当我从对象（Approach1）中选择数组时，它会转储到单行中，问题是，动态数据类型的数据限制为 1MB

我正在尝试使用以下查询将当前日期时间插入以日期时间为数据类型的表中：

.ingest inline into table NoARR_Rollout_Status_Dummie <| @'datetime(2021-06-11)',Sam,Chay,Yes

表是使用以下查询创建的：

.create table NoARR_Rollout_Status_Dummie ( Timestamp:datetime, Datacenter:string, Name:string, SurName:string, IsEmployee:string)

但是当我尝试查看表中的数据时，我看不到 TimeStamp 被填充。有什么我想念的吗？

我正在使用 Elasticsearch v7.9 并且需要在摄取期间获取索引名称而不是别名。

别名= employees_prod 和索引名称= employees

当我如上所述为文档创建传递别名时，我在elasticsearch摄取插件中摄取期间使用ingestDocument.getSourceAndMetadata() .get("_index") 时获得别名。

有没有办法获取索引名称而不是别名？

我试图在管道中设置动态值，如下所示以获取索引名称。但这对我不起作用。

我创建了一个摄取管道，如下所示将字段拆分为单词：

但它将字段拆分为字符：

如果我用逗号替换分隔符，相同的管道将字段拆分为单词：

那么输出将是：

当分隔符为“|”时，如何将字段拆分为单词？我的下一个问题是如何将此摄取管道应用于现有索引？我尝试了这个解决方案，但它对我不起作用。

编辑

这是包含将两个部分分配给两列的文档的整个管道：

这会产生以下响应：

如果我设置"separator": "\\|"，那么我会得到这个错误：

我正在尝试使用摄取实用程序将数据从 csv 文件加载到 db2 目标表中。我看到标题行被拒绝并显示错误消息。是否有任何选项（类似于导入实用程序中的 skipcount）来跳过标题行以避免收到被拒绝的消息？

当我使用 delete 语句运行摄取实用程序时，它会将插入的行数设为 0，并且不显示删除的行数。是否有任何选项可以显示已删除的行数？

我已经包含了摄取实用程序的输出消息和代码

我正在通过命名管道读取 CSV 文件。在 CSV 文件中，field2 列是空白的，需要将其作为 NULL 插入到表列中。表列是整数类型，但是当我尝试运行摄取时

我收到一条错误消息，提示“field2 无法转换为值类型：整数”。

这是我下面的代码

在上面的代码中，$field2 将为空白。在 my_table 中，当 csv 中的字段为空白时，$field2 值不会作为 NULL 插入。

示例输入 csv 数据如下所示

我希望在下表中摄取数据

任何人都可以提出解决此问题的方法吗？