web-dev-qa-db-ja.com

Tomcat6のcatalina.outファイルをLogstash + ElasticSearch + Kibanaと統合するにはどうすればよいですか？

一元化されたログサーバーが必要です。

this iso に基づいて2つのUbuntu 12.04LTSサーバーを作成しました。

このチュートリアル の手順を正常かつ厳密に実行した後、次のようになります。

  1. Logstash + ElasticSearch + Kibanaを備えた1つのロギングサーバー。
  2. そして、Logstash-Forwarder、Tomcat 6、およびログがcatalina.outファイルに登録されている別のアプリを備えた1つのアプリケーションサーバー。

私の質問は：

  • それらのログが適切に構造化され、ElasticSearch + Kibanaでクエリ可能になるように、catalina.outログをAppServerからLoggingServerに送信するには、どのような「ダミー向け」の手順に従う必要がありますか？

Catalina.outのフォーマットは1つだけではなく、複数行のJava例外も登録されることに注意してください。

これに関するチュートリアルをいくつか読んだことがありますが、私のようなダミーには十分に説明されていなかったと思います。ファイルへのフルパス、適切なファイル名、必要なubuntuコマンドなどの例がありません。

前もって感謝します！

elasticsearchlog4jtomcat6logstashkibana
10
Mr_Thumb

GELFを使用して、カタリナログを直接logstashにプッシュすることもできます： http://www.paluch.biz/blog/105-integrating-logstash-with-Tomcat-7.html

logstash-gelfは、アクセスログをlogstashにプッシュするためのアクセスログバルブを提供していません。

1
mp911de

これが私が持っているものです。アクセスログはカスタムログ形式（以下に記載）を使用し、Tomcatログからもう少し情報を抽出することに注意してください（たとえば、logLevelをフィールドとして持つと便利です）。

input { 
    file {
        type => "access-log"
        path => [ "C:/Apache-Tomcat-6.0.18/logs/*.txt" ]
    }
    file {
        type => "Tomcat"
        path => [ "C:/Apache-Tomcat-6.0.18/logs/*.log" ]
        codec => multiline {
          negate => true
          pattern => "(^%{MONTH} %{MONTHDAY}, 20%{YEAR} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) (?:AM|PM))"
          what => "previous"
        }
    }
}

filter {
    if [type] == "access-log" {
        grok {
            # Access log pattern is %a %{waffle.servlet.NegotiateSecurityFilter.PRINCIPAL}s %t %m %U%q %s %B %T "%{Referer}i" "%{User-Agent}i"
            match => [ "message" , "%{IPV4:clientIP} %{NOTSPACE:user} \[%{DATA:timestamp}\] %{Word:method} %{NOTSPACE:request} %{NUMBER:status} %{NUMBER:bytesSent} %{NUMBER:duration} \"%{NOTSPACE:referer}\" \"%{DATA:userAgent}\"" ]
            remove_field => [ "message" ]
        }
        grok{
            match => [ "request", "/%{USERNAME:app}/" ]
            tag_on_failure => [ ]
        }
        date {
            match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
            remove_field => [ "timestamp" ]
        }
        geoip {
            source => ["clientIP"]
        }
        dns {
            reverse => [ "clientIP" ]
        }
        mutate {
            lowercase => [ "user" ]
            convert => [ "bytesSent", "integer", "duration", "float" ]
        }
        if [referer] == "-" {
            mutate {
                remove_field => [ "referer" ]
            }
        }
        if [user] == "-" {
            mutate {
                remove_field => [ "user" ]
            }
        }
    }
    if [type] == "Tomcat" {
        if [message] !~ /(.+)/  {
            drop { }
        }
        grok{
             patterns_dir => "./patterns"
             match => [ "message", "%{CATALINA_DATESTAMP:timestamp} %{NOTSPACE:className} %{Word:methodName}\r\n%{LOGLEVEL: logLevel}: %{GREEDYDATA:message}" ]
             overwrite => [ "message" ]
        }
        grok{
            match => [ "path", "/%{USERNAME:app}.20%{NOTSPACE}.log"]
            tag_on_failure => [ ]
        }
        #Aug 25, 2014 11:23:31 AM
        date{
            match => [ "timestamp", "MMM dd, YYYY hh:mm:ss a" ]
            remove_field => [ "timestamp" ]
        }
    }
}

output {
  elasticsearch { Host => somehost}
}
4
Tony BenBrahim

私はこのブログ投稿をチェックします：

http://blog.lanyonm.org/articles/2014/01/12/logstash-multiline-Tomcat-log-parsing.html

Logstashを使用してTomcatログファイルをElasticsearchに解析し、Kibanaを使用して結果を表示する方法に関する詳細な説明があります。使用されるコードと構成ファイルの要点があります。

https://Gist.github.com/LanyonM/8390458

1
John Petrone