elasticsearch - 使用 Logstash JDBC Input 插件动态连接到多个数据库

Question

我正在使用 Logstash JDBC 输入插件从数据库中读取数据并将其索引到 Elastic Search 中。我为每个客户都有单独的数据库，我想动态地一一连接到它们以获取数据？

JDBC-Input Plugin 或 Logstash 中是否有任何规定或参数可以连接到多个数据库？

例如

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.36-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/MYDB"
    //MYDB will be set dynamically. 
    jdbc_user => "mysql"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * * * *"
    statement => "SELECT * from songs where artist = :favorite_artist"
  }
}

我能想到的唯一解决方案是编写脚本来更新logstash配置以一一连接到指定的数据库并通过它运行logstash。

Answer 1

让我更新一下——出于同样的目的，我使用了两个输入 JDBC 部分，但只考虑了第一部分。

input {
    jdbc {
        jdbc_connection_string => "XXXX"
        jdbc_user => "XXXX"
        jdbc_password => "XXXX"
        statement => "select * from product"
        jdbc_driver_library => "/usr/share/logstash/ojdbc7.jar"
        jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
        }
 jdbc {
        jdbc_connection_string => "YYYY"
        jdbc_user => "YYYYY"
        jdbc_password => "YYYY"
        statement => "select * from product"
        jdbc_driver_library => "/usr/share/logstash/ojdbc7.jar"
        jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
        }
}
output {
    elasticsearch {
        hosts => "localhost:9200"
        user => "XXX"
        password => "XXXX"
        index => "XXXX"
        document_type => "XXXX"
        }
}

--