0

我正在使用 ELK 堆栈，其中我在 logstash 中使用了 jdbc 输入，
我创建了 2 个索引

  1. 用户
  2. 雇员

两个索引都有一个相同的列objid
Logstash 配置文件

input {
  jdbc {
    jdbc_driver_library => "/opt/application/cmt/ELK/logstash-5.3.0/ojdbc14.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_connection_string => "jdbc:oracle:thin:@xx.xxx.xx.xx:xxxx:abc"
    jdbc_user => "xxxx"
    jdbc_password => "xxxxx"
    schedule => "*/2 * * * *"
    statement => "select * from table_employee"
  }
}
output {
  elasticsearch {
    index => "employees"
    document_type => "employee"
    document_id => "%{objid}"
    hosts => "xx.xxx.xxx.xx:9200"
    }
}

input {
  jdbc {
    jdbc_driver_library => "/opt/application/cmt/ELK/logstash-5.3.0/ojdbc14.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_connection_string => "jdbc:oracle:thin:@xx.xxx.xx.xx:xxxx:abc"
    jdbc_user => "xx"
    jdbc_password => "xxxxxxx"
    schedule => "*/2 * * * *"
    statement => "select A.OBJID,A.LOGIN_NAME,A.STATUS,A.USER_ACCESS2PRIVCLASS,A.USER_DEFAULT2WIPBIN,A.SUPVR_DEFAULT2MONITOR,A.USER2RC_CONFIG,A.OFFLINE2PRIVCLASS,A.WIRELESS_EMAIL from table_user a where A.STATUS=1"
  }
}
output {
  elasticsearch {
    index => "users"
    document_type => "user"
    document_id => "%{objid}%{login_name}"
    hosts => "xx.xxx.xxx.xx:9200"
    }
}

第一个输入 jdbc 'employees' 包含26935记录

第二个输入 jdbc 'users' 包含10619记录

公共记录：9635（objid 匹配）

第一个问题是，当我在 kibana 中创建索引模式时

用户

它显示计数37554，为什么？它应该只显示10619

第二个问题：当我将索引模式创建为'

雇员

它显示计数27919，为什么？它应该只显示26935

我还为索引“用户”创建了不同的文档 ID %{objid}%{login_name}

4

1 回答 1

1

如果您的用户和员工输入和输出在同一个文件中/同时执行，如您的示例所示，您需要使用条件将您的数据路由到正确的弹性搜索索引。Logstash 将您的文件/文件连接到一个管道中，因此您的所有输入都通过所有过滤器/输出运行，这可能是您得到意外结果的原因。请参阅此讨论。

您将需要执行以下操作：

input {
  jdbc {
    statement => "SELECT * FROM users"
    type => "users"
  }
}

input {
  jdbc {
    statement => "SELECT * FROM employees"
    type => "employees"
  }
}

output {
  if [type] == "users" {
    elasticsearch {
      index => "users"
      document_type => "user"
      document_id => "%{objid}%{login_name}"
      hosts => "xx.xxx.xxx.xx:9200"
    }
  }

  if [type] == "employees" {
    elasticsearch {
      index => "employees"
      document_type => "employee"
      document_id => "%{objid}"
      hosts => "xx.xxx.xxx.xx:9200"
    }
  }  
}
于 2017-05-03T01:28:51.100 回答