elasticsearch - Logstash jdbc 左外连接作为子文档

Question

我正在使用 Logstash jdbc 插件将 MySQL 数据导入 ElasticSearch。由于左外连接，我最终得到了单个“父行”的多个“子行”。假设 1 个用户有 1 个或多个文档。我尝试 group_concat 文档的文本，然后按用户 ID 分组以保留每个用户 1 行。

但是，MySQL 的 group_concat 的长度限制为 1024...

有谁知道完全克服 group_concat 并将左外连接作为嵌套文档处理的解决方案？

谢谢

Answer 1

默认值为 1024，但您可以增加允许GROUP_CONCAT使用的长度

SET SESSION group_concat_max_len = 102400

或您认为必要的任何长度（官方文档中的更多信息）

我在创建许多子对象/文档的复杂 OUTER JOIN 中使用它，到目前为止它工作得很好。