ログファイルの2つのパターンを照合する必要があり、一致するパターンの1つ(2つのパターンのうち)の次の行を取得する必要があります。最後に、これらの3つの値を1行で出力する必要があります。
サンプルログファイル:
2013/09/05 04:26:00 Processing Batch /fbc/dev/cebi/dod/9739867262
2013/09/05 04:26:02 Batch 9739867262 was successful
2013/09/05 04:26:02 Total Time = 3.13 Secs
2013/09/05 04:26:02 Repository API Time = 2.96 Secs
2013/09/05 04:26:02 File System Io Time = 0.06 Secs
2013/09/05 04:26:02 Doc Validation Time = 0.03 Secs
2013/09/05 04:26:02 Ending @ Thu Sep 05 04:26:02 EDT 2013
2013/09/05 08:18:10 Starting @ Thu Sep 05 08:18:10 EDT 2013
2013/09/05 08:18:10 Starting @ Thu Sep 05 08:18:10 EDT 2013
2013/09/05 08:18:10 Processing Batch /fbc/dev/cebi/dod/9844867675
2013/09/05 08:18:10 Processing Batch /fbc/dev/cebi/dod/9886743777
2013/09/05 08:18:16 Batch 9844867675 was successful
2013/09/05 08:18:16 Total Time = 6.00 Secs
2013/09/05 08:18:16 Repository API Time = 5.63 Secs
2013/09/05 08:18:16 File System Io Time = 0.05 Secs
2013/09/05 08:18:16 Doc Validation Time = 0.19 Secs
2013/09/05 08:18:16 Ending @ Thu Sep 05 08:18:16 EDT 2013
2013/09/05 08:18:18 Batch 9886743777 was successful
2013/09/05 08:18:18 Total Time = 8.27 Secs
2013/09/05 08:18:18 Repository API Time = 8.52 Secs
2013/09/05 08:18:18 File System Io Time = 0.08 Secs
2013/09/05 08:18:18 Doc Validation Time = 0.47 Secs
2013/09/05 08:18:18 Ending @ Thu Sep 05 08:18:18 EDT 2013
Cust_no.txtという名前のファイルに個別に番号があります
9739867262
9844867675
9886743777
これらの数値を入力として、ログファイルの次の2つのパターンに一致させる必要があります
以下は出力として必要です。
->最初のパターン(i.e Processing Batch /fbc/dev/cebi/dod/<numbers in the cust_no.txt>
)の一致について、2番目の単語、つまり$ 2を取得する必要があります。 -> 2番目のパターン(i.e Batch <numbers in the cust_no.txt> was successful
)の一致について、2番目の単語、つまり$ 2を取得する必要があります-> 2番目のパターンの後の一致後の次の行(つまり、 Total Time
)
望ましい出力:
9739867262,04:26:00,04:26:02,3.13 Secs
9844867675,08:18:10,08:18:16,6.00 Secs
9886743777,08:18:10,08:18:18,8.27 Secs
これを得るために私は以下の方法で試しましたが、これはうまくいかないようです:
awk -v cn=$cust_no '{{if ($0 ~ "Processing.*" cn) st=$2 && if ($0 ~ "Customer cn was successful" et=$2; getline; tt=$4} ; print st,et,tt}
これはどう:
while read number;do
start=$(grep "Processing Batch /fbc/dev/cebi/dod/$number" log_file\
|head -n 1|awk '{print $2}')
end=$(grep -A 1 "Batch $number was successful" log_file\
|head -n 2|tail -n 1|awk -v OFS=',' '{print $2,$6}')
echo "$number,$start,$end Secs"
done <cust_no.txt
Perlとgrepを使用してもかまわない場合は、ここに問題の解決策があります。これがcmd.pl
というスクリプトです。
#!/usr/bin/env Perl
use feature 'say';
#use Data::Dumper;
@file = `grep -f cust_no.txt -A 1 sample.log`;
my (%info, $secLineSeen, $time, $custno);
$secLineSeen = 0;
foreach my $line (@file) {
if ($secLineSeen == 1) {
#2013/09/05 08:18:18 Total Time = 8.27 Secs
(my $totTime) = ($line =~ m!\S+ \S+\s+Total Time\s+=\s+(\S+ Secs)!);
$info{$custno}{totTime} = $totTime;
$secLineSeen = 0;
} elsif ($line =~ m/Processing Batch/) {
#2013/09/05 08:18:10 Processing Batch /fbc/dev/cebi/dod/9844867675
($time, $custno) = ($line =~ m!\S+ (\S+)\s+Processing Batch.*/(\S+)!);
$info{$custno}{onetwo} = $time;
} elsif ($line =~ m/Batch.*successful/) {
#2013/09/05 08:18:18 Batch 9886743777 was successful
($time, $custno) = ($line =~ m!\S+ (\S+)\s+Batch (\S+) was.*!);
$info{$custno}{twotwo} = $time;
$secLineSeen = 1;
}
}
#print Dumper(\%info);
#9739867262,04:26:00,04:26:02,3.13 Secs
foreach my $key (sort keys %info) {
say "$key,$info{$key}{onetwo},$info{$key}{twotwo},$info{$key}{totTime}";
}
$ ./cmd.pl
9739867262,04:26:00,04:26:02,3.13 Secs
9844867675,08:18:10,08:18:16,6.00 Secs
9886743777,08:18:10,08:18:18,8.27 Secs
このPerlスクリプトはまず、このコマンドの結果を含む配列@file
を作成します。
$ grep -f cust_no.txt -A 1 sample.log
このコマンドは、ログファイルsample.log
を取得し、次のように、ファイルcust_no.txt
から顧客番号を含むすべての行を選択します。
2013/09/05 04:26:00 Processing Batch /fbc/dev/cebi/dod/9739867262
2013/09/05 04:26:02 Batch 9739867262 was successful
2013/09/05 04:26:02 Total Time = 3.13 Secs
--
2013/09/05 08:18:10 Processing Batch /fbc/dev/cebi/dod/9844867675
2013/09/05 08:18:10 Processing Batch /fbc/dev/cebi/dod/9886743777
2013/09/05 08:18:16 Batch 9844867675 was successful
2013/09/05 08:18:16 Total Time = 6.00 Secs
--
2013/09/05 08:18:18 Batch 9886743777 was successful
2013/09/05 08:18:18 Total Time = 8.27 Secs
このgrep
コマンドは、言及する価値のあるもう1つの特別なことを実行します。主に、一致した後(-A 1
)に1行追加されます。これにより、「合計時間」を含む行を取得できます。
このデータが抽出されると、Perlスクリプトは多次元ハッシュを使用して、質問で述べられている要件に従って、この出力からの主要なデータの結果を格納します。
@file
のコンテンツの処理が完了すると、ハッシュは次のようになります。
$VAR1 = {
'9739867262' => {
'twotwo' => '04:26:02',
'totTime' => '3.13 Secs',
'onetwo' => '04:26:00'
},
'9886743777' => {
'twotwo' => '08:18:18',
'totTime' => '8.27 Secs',
'onetwo' => '08:18:10'
},
'9844867675' => {
'twotwo' => '08:18:16',
'totTime' => '6.00 Secs',
'onetwo' => '08:18:10'
}
};
最後に、このハッシュをループして、収集したコンテンツを質問で指定された形式で出力します。
私はこれでgrepを試します:
grep -EA 1 'pattern1|pattern2' file.log
拡張正規表現にはオプション-Eを使用し、一致に続く行数には-Aを使用します。これを1行に出力するために、sedを使用した非常にハックな方法を1つ考えることができます。
grep -EA 1 'pattern1|pattern2' file.log | grep -v ^-- | sed 'N ; s+\n+|+g'
コマンドN
(次の行を読み取る)をsedに渡すと、一度に2行の入力を処理できます。一方、コマンドs+\n+|+g
を使用すると、処理中の2つの行の間の改行を(選択した区切り文字で)置換したり削除したりできます(置換が空の場合)。 2行目の終わり。
grep -v ^--
は、最初のgrepインスタンスによる--
出力を取り除くために必要です(下の例を参照)。
Line 1
Line 2
--
Line X
Line Y