web-dev-qa-db-ja.com

コンテンツに基づいてLinuxでファイルを分割する

約400 MBの電子メールダンプがあります。これを.txtファイルに分割し、各ファイルに1つのメールが含まれるようにします。すべての電子メールは、Doctypeを指定する標準のHTMLヘッダーで始まります。

つまり、上記のヘッダーに基づいてファイルを分割する必要があります。 Linuxでどうすればいいですか？

linuxfilebashsedawk
41
Greenhorn

mail.txtがある場合

$ cat mail.txt
<html>
    mail A
</html>

<html>
    mail B
</html>

<html>
    mail C
</html>

csplitを実行して<html>で分割します

$ csplit mail.txt '/^<html>$/' '{*}'

 - mail.txt    => input file
 - /^<html>$/  => pattern match every `<html>` line
 - {*}         => repeat the previous pattern as many times as possible

出力を確認する

$ ls
mail.txt  xx00  xx01  xx02  xx03

awkで実行する場合

$ awk '/<html>/{filename=NR".txt"}; {print >filename}' mail.txt
$ ls
1.txt  5.txt  9.txt  mail.txt
71
kev

csplitプログラムは問題をエレガントに解決します：

csplit '/<!DOCTYPE.*/' $FILE
4
thiton

csplitはこの問題の最良の解決策です。このタスクにPerlを使用する必要がないことを示すために、bash-solutionを投稿すると思いました。

#!/usr/bin/bash

MAIL='mail'        # path to huge mail-file

#get linenumbers for all headers
line_no=$(grep -n html $MAIL | cut -d: -f1)

read -a LINES<<< $line_no

file=0
for i in $(seq 0 2 ${#LINES[@]}); do
    start=${LINES[i]}
    end=$((${LINES[i+1]}-1))
    echo $start, $end
    sed -n "${start},${end}p" $MAIL > ${MAIL}${file}.txt
    file=$((file+1))
done
2
Fredrik Pihl

Perlの「マジック」で実行可能です...多くの人がこれをいと呼びますが、ここに行きます。

秘[は、$/を必要なものに置き換えて、入力を読み取ることです。

#!/usr/bin/Perl -W
use strict;
my $i = 1;

$/ = <<EOF;
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"><html><head> <xmeta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">
EOF

open INPUT, "/path/to/inputfile" or die;

while (my $mail = <INPUT>) {
    $mail = substr($mail, 0, index($mail, $/));
    open OUTPUT, ">/path/to/emailfile." . $i . ".txt" or die;
    $i++;
    print OUTPUT $mail;
    close OUTPUT;
}

編集：修正、$/が入力に含まれることを常に忘れる。また、最初のファイルは常に空ですが、その後は簡単に処理できます。

1
fge

Fgeに同意します。 Perlを使用すると、はるかに簡単になります。このようなものを試すことができます-

#!/usr/bin/Perl

undef $/;
$_ = <>;
$n = 0;

for $match (split(/(?=HEADER_FORMAT)/)) {
      open(O, '>mail' . ++$n);
      print O $match;
      close(O);
}

置換HEADER_FORMATヘッダータイプ。

1
jaypal singh