web-dev-qa-db-ja.com

ログファイルから最後の10分間を抽出します

最近のイベント（10分未満から）を監視する簡単な方法を見つけようとして、私はこれを試しました：

awk "/^$(date --date="-10 min" "+%b %_d %H:%M")/{p++} p" /root/test.txt

しかし、それは期待どおりに機能しません...

ログファイルの形式は次のとおりです。

Dec 18 09:48:54 Blah
Dec 18 09:54:47 blah bla
Dec 18 09:55:33 sds
Dec 18 09:55:38 sds
Dec 18 09:57:58 sa
Dec 18 09:58:10 And so on...
bashdatedatetimelogfiles
9
user1204671

単純な文字列比較を使用して、日付範囲を一致させることができます。次に例を示します。

d1=$(date --date="-10 min" "+%b %_d %H:%M")
d2=$(date "+%b %_d %H:%M")
while read line; do
    [[ $line > $d1 && $line < $d2 || $line =~ $d2 ]] && echo $line
done

たとえば、d1='Dec 18 10:19'およびd2='Dec 18 10:27'すると、出力は次のようになります。

Dec 18 10:19:16
Dec 18 10:19:23
Dec 18 10:21:03
Dec 18 10:22:54
Dec 18 10:27:32

または、必要に応じてawkを使用します。

awk -v d1="$d1" -v d2="$d2" '$0 > d1 && $0 < d2 || $0 ~ d2'
4
janos

これが素敵なツールの範囲です-10から今まであなたが望むものです

sed -n "/^$(date --date='10 minutes ago' '+%b %_d %H:%M')/,\$p" /var/log/blaaaa
10
Zeus

それは Perl ！：の（一般的な）仕事です

シンプルで効率的：

Perl -MDate::Parse -ne 'print if/^(.{15})\s/&&str2time($1)>time-600' /path/log

このバージョンは、time関数を使用して、nowまでの最後の10分間のイベントを出力します。

これは次の方法でテストできます。

Sudo cat /var/log/syslog |
  Perl -MDate::Parse -ne '
    print if /^(\S+\s+\d+\s+\d+:\d+:\d+)\s/ && str2time($1) > time-600'

最初の表現は各行の最初の15文字のみを使用し、2番目の構成はより詳細なregexpを使用することに注意してください。

Perlスクリプトとして：last10m.pl

#!/usr/bin/Perl -wn

use strict;
use Date::Parse;
print if /^(\S+\s+\d+\s+\d+:\d+:\d+)\s/ && str2time($1) > time-600

厳密に：ログファイルから最後の10分間を抽出

現在の時刻ではなく、ログファイルの最後のエントリを基準にした意味：

取得するには2つの方法があります期間の終わり：

date -r logfile +%s
tail -n1 logfile | Perl -MDate::Parse -nE 'say str2time($1) if /^(.{15})/'

論理的には、ログファイルの最終変更時刻は最後のエントリの時刻である必要があります。

したがって、コマンドは次のようになります。

Perl -MDate::Parse -ne 'print if/^(.{15})\s/&&str2time($1)>'$(
    date -r logfile +%s)

または、the最後のエントリを参照として使用できます。

Perl -MDate::Parse -E 'open IN,"<".$ARGV[0];seek IN,-200,2;while (<IN>) {
    $ref=str2time($1) if /^(\S+\s+\d+\s+\d+:\d+:\d+)/;};seek IN,0,0;
    while (<IN>) {print if /^(.{15})\s/&&str2time($1)>$ref-600}' logfile

2番目のバージョンはより強力に見えますが、ファイルへのアクセスは1回だけです。

Perlスクリプトとして、これは次のようになります。

#!/usr/bin/Perl -w

use strict;
use Date::Parse;
my $ref;                 # The only variable I will use in this.

open IN,"<".$ARGV[0];    # Open (READ) file submited as 1st argument
seek IN,-200,2;          # Jump to 200 character before end of logfile. (This
                         # could not suffice if log file hold very log lines! )
while (<IN>) {           # Until end of logfile...
    $ref=str2time($1) if /^(\S+\s+\d+\s+\d+:\d+:\d+)/;
};                       # store time into $ref variable.
seek IN,0,0;             # Jump back to the begin of file
while (<IN>) {
    print if /^(.{15})\s/&&str2time($1)>$ref-600;
}

しかし、本当に使いたいのなら bash

非常に速い純粋なbashスクリプトがあります：

警告：これは最近のbashismsを使用し、$BASH_VERSION4.2以上が必要です。

#!/bin/bash

declare -A month

for i in {1..12};do
    LANG=C printf -v var "%(%b)T" $(((i-1)*31*86400))
    month[$var]=$i
  done

printf -v now "%(%s)T" -1
printf -v ref "%(%m%d%H%M%S)T" $((now-600))

while read line;do
    printf -v crt "%02d%02d%02d%02d%02d" ${month[${line:0:3}]} \
        $((10#${line:4:2})) $((10#${line:7:2})) $((10#${line:10:2})) \
        $((10#${line:13:2}))
    # echo " $crt < $ref ??"   # Uncomment this line to print each test
    [ $crt -gt $ref ] && break
done
cat

このスクリプトを保存して実行します。

cat >last10min.sh
chmod +x last10min.sh
Sudo cat /var/log/syslog | ./last10min.sh

厳密に：ログファイルから最後の10分間を抽出

10行目を置き換えるだけですが、ファイル名をスクリプトに配置し、フィルターとして使用しないでください。

#!/bin/bash

declare -A month

for i in {1..12};do
    LANG=C printf -v var "%(%b)T" $(((i-1)*31*86400))
    month[$var]=$i
  done

read now < <(date -d "$(tail -n1 $1|head -c 15)" +%s)
printf -v ref "%(%m%d%H%M%S)T" $((now-600))

export -A month

{
    while read line;do
        printf -v crt "%02d%02d%02d%02d%02d" ${month[${line:0:3}]} \
            $((10#${line:4:2})) $((10#${line:7:2})) $((10#${line:10:2})) \
            $((10#${line:13:2}))
        [ $crt -gt $ref ] && break
    done
    cat
} <$1
7
F. Hauri

bash では、dateコマンドを使用してタイムスタンプを解析できます。 "％s"形式指定子は、指定された日付を1970-01-01 00:00:00 UTC からの秒数に変換します。この単純な整数は、基本的な算術演算を簡単かつ正確に実行できます。

実際の時間の最後の10分間のログメッセージが必要な場合：

now10=$(($(date +%s) - (10 * 60)))

while read line; do
    [ $(date -d "${line:0:15}" +%s) -gt $now10 ] && printf "$line\n"
done < logfile

${line:0:15}式は bashパラメーター展開 であることに注意してください。これは、行の最初の15文字、つまりタイムスタンプ自体を示します。

ログの終わりを基準にして過去10分間のログメッセージが必要な場合：

$ lastline=$(tail -n1 logfile)
$ last10=$(($(date -d "$lastline" +%s) - (10 * 60)))
$ while read line; do
> [ $(date -d "${line:0:15}" +%s) -gt $last10 ] && printf "$line\n"
> done < logfile
Dec 18 10:19:16
Dec 18 10:19:23
Dec 18 10:21:03
Dec 18 10:22:54
Dec 18 10:27:32
$

上記よりもパフォーマンスがわずかに向上しています。

$ { while read line; do
> [ $(date -d "${line:0:15}" +%s) -gt $last10 ] && printf "$line\n" && break
> done ; cat ; }  < logfile
Dec 18 10:19:16
Dec 18 10:19:23
Dec 18 10:21:03
Dec 18 10:22:54
Dec 18 10:27:32
$

これは、ログエントリが厳密な時系列であると想定しています。問題のタイムスタンプと一致したら、forループを終了し、catを使用して残りのエントリをダンプします。

1
Digital Trauma

Pythonでは、次のように実行できます。

from datetime import datetime

astack=[]
with open("x.txt") as f:
    for aline in f:
        astack.append(aline.strip())
lasttime=datetime.strptime(astack[-1], '%b %d %I:%M:%S')
for i in astack:
    if (lasttime - datetime.strptime(i, '%b %d %I:%M:%S')).seconds <= 600:
        print i

ファイルの行をスタックに入れます（a python list）。最後の項目をポップし、600秒未満の差が得られるまで、連続する日付項目の差を取得します。

あなたの入力を実行すると、次のようになります。

Dec 18 10:19:16
Dec 18 10:19:23
Dec 18 10:21:03
Dec 18 10:22:54
Dec 18 10:27:32
0
mkc

A Rubyソリューション（Ruby 1.9.3）でテスト済み）

日、時間、分、または秒をパラメーターとして渡すことができ、式を検索し、指定されたファイル（またはディレクトリ。この場合は名前に「/ *」を追加します）を検索します。

あなたの場合は、次のようにスクリプトを呼び出します。$ 0 -m 10 "expression" log_file

注：また、「Ruby」の場所がわかっている場合は、セキュリティ上の理由から、Shebang（スクリプトの最初の行）を変更してください。

#! /usr/bin/env Ruby

require 'date'
require 'pathname'

if ARGV.length != 4
        $stderr.print "usage: #{$0} -d|-h|-m|-s time expression log_file\n"
        exit 1
end
begin
        total_amount = Integer ARGV[1]
rescue ArgumentError
        $stderr.print "error: parameter 'time' must be an Integer\n"
        $stderr.print "usage: #{$0} -d|-h|-m|-s time expression log_file\n"
end

if ARGV[0] == "-m"
        gap = Rational(60, 86400)
        time_str = "%b %d %H:%M"
elsif ARGV[0] == "-s"
        gap = Rational(1, 86400)
        time_str = "%b %d %H:%M:%S"
elsif ARGV[0] == "-h"
        gap = Rational(3600, 86400)
        time_str = "%b %d %H"
elsif ARGV[0] == "-d"
        time_str = "%b %d"
        gap = 1
else
        $stderr.print "usage: #{$0} -d|-h|-m|-s time expression log_file\n"
        exit 1
end

pn = Pathname.new(ARGV[3])
if pn.exist?
        log = (pn.directory?) ? ARGV[3] + "/*" : ARGV[3]
else
        $stderr.print "error: file '" << ARGV[3] << "' does not exist\n"
        $stderr.print "usage: #{$0} -d|-h|-m|-s time expression log_file\n"
end

search_str = ARGV[2]
now = DateTime.now

total_amount.times do
        now -= gap
        system "cat " << log << " | grep '" << now.strftime(time_str) << ".*" << search_str << "'"
end
0
simi