parallel
from moreutils は、とりわけ、m
独立したタスクをn
CPUに均等に分散するための優れたツールです。複数のマシンで同じことを実現するツールを知っている人はいますか?もちろん、そのようなツールは、複数のマシンやネットワークの概念、またはそのようなものについて知る必要はありません-私はm
タスクをN
に分散することについて話しているだけですclusters、ここでクラスター内i
N_i
タスクは並行して実行されます。
今日、私は自分のBASHスクリプトを使用して同じことを実現していますが、より合理化されたクリーンなツールがあれば素晴らしいでしょう。 anyobdyは何か知っていますか?
GNU Parallelはそれ以上のことを行います(sshを使用)。
マシンのリストで開始されるジョブのキューがあるだけなので、マシンの混合速度を処理することもできます(たとえば、CPUコアごとに1つ)。 1つのジョブが終了すると、別のジョブが開始されます。
したがって、開始する前にジョブをクラスターに分割するのではなく、動的に分割します。
詳細については、紹介ビデオをご覧ください: http://pi.dk/1