1

官方logstash弹性云模块

开始的官方文档

我的logstash.yml样子：

  cloud.id: "Test:testkey"
  cloud.auth: "elastic:password"

前面有 2 个空格，最后没有空格，在""

这就是我所拥有的logstash.yml，没有别的了，
我得到：

[2018-08-29T12:33:52,112][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"https://myserverurl:12345/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contacting Elasticsearch at URL 'https://myserverurl:12345/'"}

my_config_file_name.conf看起来像：

input{jdbc{...jdbc here... This works, as I see data in windows console}}
output {
    stdout { codec => json_lines }
    elasticsearch {
    hosts => ["myserverurl:12345"]
    index => "my_index"
    # document_id => "%{brand}"
    }

我正在做的是bin/logstash在 windows上点击cmd，
它从我在 conf 文件的输入中配置的数据库加载数据，然后显示错误，我想在 Cloud 上索引我的数据MySQL，elasticsearch我试用了 14 天并创建了一个测试索引，用于学习目的，因为我稍后必须部署它。我的管道看起来像：

  - pipeline.id: my_id
    path.config: "./config/conf_file_name.conf"
    pipeline.workers: 1

如果日志不包含敏感数据，我也可以提供。 基本上我不想在云上
同步（计划检查）我的MYSQL数据，即ElasticSearchAWS

4

2 回答 2

1

输出应为：

elasticsearch {
    hosts => ["https://yourhost:yourport/"]
    user => "elastic"
    password => "password"
    # protocol => https
    # port => "yourport"
    index => "test_index"
    # document_id => "%{table_id}"

#- 表示

如下所述的评论：Configuring logstash with elastic cloud docs

部署应用程序时提供的文档不提供 jdbc 的配置，即使在设置文件中定义，jdbc 也需要用户和密码，即logstash.yml

于 2018-08-29T08:26:31.473 回答
0

我在我的开发环境中添加了相同的问题。在谷歌上搜索了几个小时后，我默认理解为，当你安装 Logstash 时，会安装 X-Pack。在文档https://www.elastic.co/guide/en/logstash/current/setup-xpack.html中指出

块引用

X-Pack 是一个 Elastic Stack 扩展，提供安全、警报、监控、机器学习、管道管理和许多其他功能

块引用

由于我在流式传输 Elasticsearch 时不需要 x-pack 在我的开发中运行，因此我必须通过在索引文件配置的输出中将 ilm_enabled设置为 false 来禁用它。

    output {
     elasticsearch { 
        hosts =>  [.. ]
        ilm_enabled => false
      }
    }

下面的链接可能会有所帮助 https://discuss.opendistrocommunity.dev/t/logstash-oss-with-non-removable-x-pack/655/3

于 2020-02-01T16:52:38.387 回答