amazon-web-services - 配置 logstash 以从 Amazon S3 存储桶读取日志

Question

我一直在尝试配置 logstash 以读取在我的 amazon S3 存储桶中生成的日志，但没有成功。以下是详细信息：

1. 我已经在 ec2 实例上安装了 logstash
2. 我的日志都是s3桶里的gz文件
3. conf 文件如下所示：

  输入 {
    s3 {
      access_key_id => "MY_ACCESS_KEY_ID"
      桶 => “MY_BUCKET”
      地区=>“MY_REGION”
      secret_access_key => "MY_SECRET_ACCESS_KEY"
      前缀 => "/"
      类型=>“s3”
      add_field => { source => gzfiles }
    }
  }

  筛选 {
    如果 [类型] == "s3" {
      csv {
        列=> [“日期”，“时间”，“x-edge-location”，“sc-bytes”，“c-ip”，“cs-method”，“Host”，“cs-uri-stem”， “sc-status”、“Referer”、“User-Agent”、“cs-uri-query”、“Cookie”、“x-edge-result-type”、“x-edge-request-id”]  
      }
    }

    if([消息] =~ /^#/) {
      降低{}
    }
  }

  输出 {
    弹性搜索{
      主机 => "ELASTICSEARCH_URL" 协议 => "http"
    }
  }