web-dev-qa-db-ja.com

BASH：並列実行

METHODS、INFILES、OUTFILESの同じ長さの3つの配列を入力として受け取るbashスクリプトがあります。

このスクリプトにより、METHODS[i]は問題INFILES[i]を解決し、すべてのインデックスi（OUTFILES[i]）の結果を0 <= i <= length-1に保存します。

METHODSの各要素は、次の形式の文字列です。

$HOME/program/solver -a <method>

ここで、ソルバーは次のように呼び出すことができるプログラムです。

$HOME/program/solver -a <method> -m <input file> -o <output file> --timeout <timeout in seconds>

スクリプトは、次のようにparallelのすべての問題を解決し、各インスタンスの実行時制限を1時間に設定します（ただし、一部のメソッドは一部の問題を非常に迅速に解決できます）。

#!/bin/bash
source METHODS
source INFILES
source OUTFILES

start=`date +%s`

## Solve in PARALLEL
for index in ${!OUTFILES[*]}; do 
    (alg=${METHODS[$index]}
    infile=${INFILES[$index]}
    outfile=${OUTFILES[$index]}

    ${!alg}  -m $infile -o $outfile --timeout 3600) &
done
wait


end=`date +%s`

runtime=$((end-start))
echo "Total runtime = $runtime (s)"
echo "Total number of processes = ${#OUTFILES[@]}"

上記にはlength = 619があります。このbashを70個の使用可能なプロセッサーを備えたクラスターに送信しました。これは、すべてのタスクを完了するのに最大9時間かかるはずです。ただし、これは実際には当てはまりません。 topコマンドを使用して調査したところ、他のすべてのプロセスがスリープしている間（state = R）、2つまたは3つのプロセスのみが実行されている（state = D）ことがわかりました。

何が間違っているのですか？

さらに、並列ジョブを実行するにはGNU parallelの方がはるかに優れていることを学びました。上記のタスクにどのように使用できますか？

ご助力ありがとうございます！

更新：最初にGNU parallel：

アイデアは、すべてのコマンドをファイルに書き込んでから、GNU並列を使用してそれらを実行することです。

#!/bin/bash
source METHODS
source INFILES
source OUTFILES

start=`date +%s`    

## Write to file
firstline=true
for index in ${!OUTFILES[*]}; do 
    (alg=${METHODS[$index]}
    infile=${INFILES[$index]}
    outfile=${OUTFILES[$index]}
    if [ "$firstline" = true ] ; then
        echo "${!alg}  -m $infile -o $outfile --timeout 3600" > commands.txt
        firstline=false
    else
        echo "${!alg}  -m $infile -o $outfile --timeout 3600" >> commands.txt
    fi
done

## Solve in PARALLEL
time parallel :::: commands.txt

end=`date +%s`

runtime=$((end-start))
echo "Total runtime = $runtime (s)"
echo "Total number of processes = ${#OUTFILES[@]}"

どう思いますか？

更新2： GNU並列を使用していて、同じ問題が発生しています。topの出力は次のとおりです。

top - 02:05:25 up 178 days,  8:16,  2 users,  load average: 62.59, 59.90, 53.29
Tasks: 596 total,   7 running, 589 sleeping,   0 stopped,   0 zombie
Cpu(s): 12.9%us,  0.9%sy,  0.0%ni, 63.3%id, 22.9%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:  264139632k total, 260564864k used,  3574768k free,     4564k buffers
Swap: 268420092k total, 80593460k used, 187826632k free,    53392k cached

  PID USER     PR  NI  VIRT  RES  SHR S %CPU %MEM   TIME+   COMMAND
28542 khue     20   0 7012m 5.6g 1816 R  100  2.2  12:50.22 opengm_min_sum
28553 khue     20   0 11.6g  11g 1668 R  100  4.4  17:37.37 opengm_min_sum
28544 khue     20   0 13.6g 8.6g 2004 R  100  3.4  12:41.67 opengm_min_sum
28549 khue     20   0 13.6g 8.7g 2000 R  100  3.5   2:54.36 opengm_min_sum
28551 khue     20   0 11.6g  11g 1668 R  100  4.4  19:48.36 opengm_min_sum
28528 khue     20   0 6934m 4.9g 1732 R   29  1.9   1:01.13 opengm_min_sum
28563 khue     20   0 7722m 6.7g 1680 D    2  2.7   0:56.74 opengm_min_sum
28566 khue     20   0 8764m 7.9g 1680 D    2  3.1   1:00.13 opengm_min_sum
28530 khue     20   0 5686m 4.8g 1732 D    1  1.9   0:56.23 opengm_min_sum
28534 khue     20   0 5776m 4.6g 1744 D    1  1.8   0:53.46 opengm_min_sum
28539 khue     20   0 6742m 5.0g 1732 D    1  2.0   0:58.95 opengm_min_sum
28548 khue     20   0 5776m 4.7g 1744 D    1  1.9   0:55.67 opengm_min_sum
28559 khue     20   0 8258m 7.1g 1680 D    1  2.8   0:57.90 opengm_min_sum
28564 khue     20   0 10.6g  10g 1680 D    1  4.0   1:08.75 opengm_min_sum
28529 khue     20   0 5686m 4.4g 1732 D    1  1.7   1:05.55 opengm_min_sum
28531 khue     20   0 4338m 3.6g 1724 D    1  1.4   0:57.72 opengm_min_sum
28533 khue     20   0 6064m 5.2g 1744 D    1  2.1   1:05.19 opengm_min_sum

（opengm_min_sumは上記のsolverです）

一部のプロセスはリソースを大量に消費するため、他のプロセスには何も残っておらず、D状態になっていると思いますか？

bashparallelismgnu-parallel
4
Khue

コメントの要約：マシンは高速ですが、すべてを並行して実行するのに十分なメモリがありません。さらに、問題は大量のデータを読み取る必要があり、ディスク帯域幅が十分でないため、CPUはほとんどの時間アイドル状態でデータを待機しています。

タスクを並べ替えると役立ちます。

データを圧縮して、有効なディスクI/O帯域幅を改善できるかどうかを確認することはまだ調査されていません。

2
icarus

バージョン20160422から、次のことができます。

## Solve in PARALLEL
parallel {1} -m {2} -o {3} --timeout 3600 ::: "${METHODS[@]}" :::+ "${INFILES[@]}" :::+ "${OUTFILES[@]}"

古いバージョンをお持ちの場合：

## Solve in PARALLEL
parallel --xapply {1} -m {2} -o {3} --timeout 3600 ::: "${METHODS[@]}" ::: "${INFILES[@]}" ::: "${OUTFILES[@]}"

man parallel_tutorialを歩いて1時間過ごします。あなたのコマンドラインはそれのためにあなたを愛します。

3
Ole Tange