logging - 如何使用 Logstash 处理多个异构输入？

Question

假设您有 2 种非常不同类型的日志，例如技术日志和业务日志，并且您想要：

• gelf使用输出将原始技术日志路由到 graylog2 服务器，
• json 业务日志使用专用elasticsearch_http输出存储到 elasticsearch 集群中。

我知道，Syslog-NG例如，配置文件允许定义几个不同的输入，然后可以在分派之前单独处理这些输入；似乎Logstash无法做到的事情。即使一个实例可以使用两个特定的配置文件启动，所有日志都采用相同的通道并应用相同的处理......

我是否应该运行尽可能多的实例，因为我有不同类型的日志？

Answer 1

我是否应该运行尽可能多的实例，因为我有不同类型的日志？

不！您只能运行一个实例来处理不同类型的日志。

在 logstash 配置文件中，您可以使用不同的type指定每个输入。然后在过滤器中您可以使用if来区分不同的处理，并且在输出中您可以使用“if”输出到不同的目的地。

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

希望这可以帮到你 ：）

Answer 2

我使用标签进行多个文件输入：

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Answer 3

我认为 logstash 在 Input section 中不能读取超过 2 个文件。试试下面

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}