问题标签 [logstash-jdbc]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - SQL Server 通过 Logstash 与 Elasticsearch 同步 - 不会发生重新传输
背景： 我们正在做一个将 SQL Server 错误日志数据同步到 elasticsearch(ES) 的 POC，以便在 kibana 中引入仪表板。我使用带有jdbc输入插件的Logstash将sql server表数据移动到（ES），它成功了。在日志表中大约有 5000 条记录，每条记录都移至 ES。
问题陈述： 为了测试，我从 ES 中删除了之前由 Logstash 同步的索引，然后我使用相同的输入配置文件再次运行了 Logstash。但是没有记录被移动如果我向 SQL Server 表中添加一条新记录，这就是反映，但旧记录 (5000) 没有更新。
配置 下面是我用来同步的配置文件
请帮我解释一下出了什么问题。
Logstash 版本：6.4.0 Elasticsearch 版本：6.3.1
提前致谢
elasticsearch - Logstash - 向 Elasticsearch 发送批量请求时出现未知错误
我正在尝试通过 logstash 将 SQL Server 表记录移动到 elasticsearch。它基本上是一个同步。但是我从 LogStash 收到一个未知错误的错误。我已经提供了我的配置文件以及错误日志。
配置：
错误日志：
Logstash 版本：6.4.0 Elasticsearch 版本：6.3.1
提前致谢。
jdbc - Logstash JDBC 适配器：Varbinary 到 UTF-8？（mysql到弹性导入）
我正在尝试通过logstash将mysql表导入elasticsearch。一列属于“varbinary”类型，导致以下错误：
我的logstash配置：
如何将 varbinary 转换为 uft-8？我必须使用特殊的过滤器吗？
mysql - 无法将mysql数据导入弹性搜索
我正在尝试跟随一个课程示例，但在常见问题解答中没有得到任何帮助，尝试了我在谷歌和这里可以找到的所有内容。
我没有使用 docker，只是在我的本地机器（Ubunutu 18.04）上运行这个演示，弹性搜索和 mysql 都在运行。
当我运行“sudo bin/logstash -f /etc/logstash/conf.d/mysql.conf --path.settings /etc/logstash”时，出现以下错误：com.mysql.jdbc.Driver 未加载。你确定你在 :jdbc_driver_library 中包含了正确的 jdbc 驱动程序吗？驱动程序确实存在并且路径正确。
当我使用 sudo bin/logstash --config.test_and_exit -f /etc/logstash/conf.d/mysql.conf 它返回配置正常。
我正在使用 mysql-connector-java-5.1.47 openjdk 版本“1.8.0_181”OpenJDK 运行时环境（构建 1.8.0_181-8u181-b13-0ubuntu0.18.04.1-b13）OpenJDK 64 位服务器 VM（构建 25.181 -b13，混合模式）
Elasticsearch-6.4.2 Logstash-6.4.2
我的 mysql.conf 是
logstash - 使用 logstash 从 Elastic Search 中删除旧文档
我正在使用logstash将postgres（jdbc输入插件）中的数据索引到elasticsearch中。我在数据库中没有任何基于时间的信息。要导入的 Postgres 表用户有 2 列 - userid(unique), uname Elastic search export - _id = userid 我在 logstash 中使用 cron 计划每小时导出此数据。
此 logstash 配置正确索引数据。但是，它仅适用于更新和插入情况。如果从表中删除任何数据/用户信息，它不会从弹性搜索索引中删除该文档。有人可以帮我解决删除案例吗？
jdbc - 未加载 Logstash 'com.mysql.jdbc.Driver'
我有一个问题jdbc_driver_library。我正在使用ELK_VERSION = 6.4.2并且我将 Docker 用于 ELK。
当我运行时：
我收到一个错误：
驱动路径：
mysql.conf：
整个错误：
当我构建图像并使用docker run时，我收到另一个错误：
当我使用 PostgreSQL 时同样的问题。
psql.conf
然后我运行：
错误：
elasticsearch - 如何将sql返回的字段用于logstash if语句
sql语句
返回类型列的值有提案和报价
此配置不起作用，您有什么建议？
elasticsearch - 安装 Logstash 错误 Errno::ENOMEM Duplicate
我正在尝试为每个mysql操作安装带有logstash的elasticsearch。
我在尝试安装 logstash 时卡住了。
这是我的命令。
有谁知道我必须做什么？我试图删除logstash，然后重新安装。
但仍然没有成功。
我试图升级内存..
之后我尝试再次重新安装
我明白了。
logstash - 如何根据单列条件在logstash配置中合并多个jdbc输入？
我在 sql server 中有两个表，即 AppDetails 和 AppBranchDetails。我想读取这两个表的所有行并根据条件合并。
以下是我要运行的两个查询：
- select id as colg_id, name, sirname from AppDetails order by id
- select id as branch_id, branch_name, branch_add from AppBranchDetails order by id
从上述两个查询中，“id”是两个表的主键。
id == 1的输出如下所示：
id == 2的输出如下所示：
我正在尝试以下配置（app.conf）：
任何人都可以建议我如何制作我上面提到的结果。
logstash - Logstash 将“yyyy-MM-dd”转换为“yyyy-MM-dd'T'HH:mm:ss.SSSZ”
我使用 logstash-input-jdbc 插件将我的数据从 mysql 同步到 elasiticsearch。但是，在elasticsearch中查看数据时，发现所有日期类型的字段格式都从“yyyy-MM-dd”变成了“yyyy-MM-dd'T'HH:mm:ss.SSSZ” .我有近200个类型为日期的字段，所以我想知道如何配置logstash，以便它可以输出格式“yyyy-MM-dd”而不是“yyyy-MM-dd'T'HH:mm:ss .SSSZ”。