elasticsearch - 从 logstash 中的 AWS S3 输入路径中提取字段

Question

是否可以根据存储桶路径添加字段/标签？我尝试使用 grok 但它没有用。

Answer 1

使用 Logstash 6.0.1，您将能够从 S3 获取每个文件的密钥（或路径）。

例子：

input {
    s3 {
        bucket => "<bucket-name>"
        prefix => "<prefix>"
    }
}

filter {
    mutate {
        add_field => {
            "file" => "%{[@metadata][s3][key]}"
        }
    }
    ...
}

参考： 这个答案