ファイル内のすべての数値をすばやく合計するにはどうすればよいですか？
数千の数字を含むファイルがあり、それぞれが独自の行にあります。
34
42
11
6
2
99
...
ファイル内のすべての数値の合計を出力するスクリプトを作成したいと考えています。解決策はありますが、あまり効率的ではありません。 （実行には数分かかります。）より効率的なソリューションを探しています。助言がありますか？
Perlのワンライナーの場合、基本的には Ayman Houriehの答え のawkソリューションと同じです。
% Perl -nle '$sum += $_ } END { print $sum'
Perlのワンライナーが何をするのか知りたい場合は、それらを解析解除できます。
% Perl -MO=Deparse -nle '$sum += $_ } END { print $sum'
その結果、プログラムのより冗長なバージョンが作成され、誰も自分で書くことはできません。
BEGIN { $/ = "\n"; $\ = "\n"; }
LINE: while (defined($_ = <ARGV>)) {
chomp $_;
$sum += $_;
}
sub END {
print $sum;
}
-e syntax OK
笑いのためだけに、1,000,000個の数字（0〜9,999の範囲）を含むファイルでこれを試しました。私のMac Proでは、ほぼ瞬時に戻ります。 mmapを使用すると本当に高速になることを望んでいたので、それはあまりにも悪いことですが、それはちょうど同じ時間です。
use 5.010;
use File::Map qw(map_file);
map_file my $map, $ARGV[0];
$sum += $1 while $map =~ m/(\d+)/g;
say $sum;
Awkを使用できます。
awk '{ sum += $1 } END { print sum }' file
これまでのソリューションでは、pasteを使用していません。以下がその1つです。
paste -sd+ filename | bc
例として、Σnを計算します（1 <= n <= 100000）：
$ seq 100000 | paste -sd+ | bc -l
5000050000
（好奇心For盛な人のために、seq nは1からnまでの一連の数字を出力します。正の数nが与えられます。）
楽しみのために、ベンチマークを行ってみましょう。
$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers
$ time Perl -nle '$sum += $_ } END { print $sum' random_numbers
16379866392
real 0m0.226s
user 0m0.219s
sys 0m0.002s
$ time awk '{ sum += $1 } END { print sum }' random_numbers
16379866392
real 0m0.311s
user 0m0.304s
sys 0m0.005s
$ time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
16379866392
real 0m0.445s
user 0m0.438s
sys 0m0.024s
$ time { s=0;while read l; do s=$((s+$l));done<random_numbers;echo $s; }
16379866392
real 0m9.309s
user 0m8.404s
sys 0m0.887s
$ time { s=0;while read l; do ((s+=l));done<random_numbers;echo $s; }
16379866392
real 0m7.191s
user 0m6.402s
sys 0m0.776s
$ time { sed ':a;N;s/\n/+/;ta' random_numbers|bc; }
^C
real 4m53.413s
user 4m52.584s
sys 0m0.052s
5分後にsedの実行を中止しました
私は lua に飛び込みました、そしてそれは迅速です：
$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
16388542582.0
real 0m0.362s
user 0m0.313s
sys 0m0.063s
これを更新している間、Ruby：
$ time Ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
16388542582
real 0m0.378s
user 0m0.297s
sys 0m0.078s
エドモートンのアドバイスに注意：$1を使用
$ time awk '{ sum += $1 } END { print sum }' random_numbers
16388542582
real 0m0.421s
user 0m0.359s
sys 0m0.063s
vs $0の使用
$ time awk '{ sum += $0 } END { print sum }' random_numbers
16388542582
real 0m0.302s
user 0m0.234s
sys 0m0.063s
これは動作します：
{ tr '\n' +; echo 0; } < file.txt | bc
別のオプションは、jqを使用することです。
$ seq 10|jq -s add
55
-s（--Slurp）は、入力行を配列に読み取ります。
これはストレートBashです。
sum=0
while read -r line
do
(( sum += line ))
done < file
echo $sum
別のワンライナーです
( echo 0 ; sed 's/$/ +/' foo ; echo p ) | dc
これは、数値が整数であることを前提としています。小数が必要な場合は、試してください
( echo 0 2k ; sed 's/$/ +/' foo ; echo p ) | dc
2を必要な小数の数に調整します。
私はこれにRを使用することを好みます：
$ R -e 'sum(scan("filename"))'
Perlやawkよりも簡潔で読みやすいため、このようなタスクにはGNU datamashを使用することを好みます。例えば
datamash sum 1 < myfile
1はデータの最初の列を示します。
楽しみのために、Perlの配列数学エンジン PDL でそれをしましょう！
Perl -MPDL -E 'say rcols(shift)->sum' datafile
rcolsは列をマトリックス（この場合は1D）に読み取り、sum（サプライズ）はマトリックスのすべての要素を合計します。
ジェネレーター式でpythonを使用するソリューションは次のとおりです。私の古い汚れたラップトップで100万の数字でテストしました。
time python -c "import sys; print sum((float(l) for l in sys.stdin))" < file
real 0m0.619s
user 0m0.512s
sys 0m0.028s
cat nums | Perl -ne '$sum += $_ } { print $sum'
（brian d foyの答えと同じ、「END」なし）
より簡潔：
# Ruby
ruby -e 'puts open("random_numbers").map(&:to_i).reduce(:+)'
# Python
python -c 'print(sum(int(l) for l in open("random_numbers")))'
sed ':a;N;s/\n/+/;ta' file|bc
$ Perl -MList::Util=sum -le 'print sum <>' nums.txt
Perl 6
say sum lines
~$ Perl6 -e '.say for 0..1000000' > test.in
~$ Perl6 -e 'say sum lines' < test.in
500000500000
Rスクリプトの実行
ファイル名の引数を取り、行を合計するRスクリプトを作成しました。
#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(as.numeric(readLines(file)))
これは、次のように「data.table」または「vroom」パッケージを使用して高速化できます。
#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(data.table::fread(file))
#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(vroom::vroom(file))
ベンチマーク
@ glenn jackman と同じベンチマークデータ。
for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers
上記のR呼び出しと比較して、R 3.5.0をスクリプトとして実行することは（同じLinux Debianサーバー上で）他の方法に匹敵します。
$ time R -e 'sum(scan("random_numbers"))'
0.37s user
0.04s system
86% cpu
0.478 total
ReadLinesを使用したRスクリプト
$ time Rscript sum.R random_numbers
0.53s user
0.04s system
84% cpu
0.679 total
Data.tableを使用したRスクリプト
$ time Rscript sum.R random_numbers
0.30s user
0.05s system
77% cpu
0.453 total
Vroomを使用したRスクリプト
$ time Rscript sum.R random_numbers
0.54s user
0.11s system
93% cpu
0.696 total
他の言語との比較
同じハードウェアで提案されている他のいくつかの方法としてここで参照
Python 2（2.7.13）
$ time python2 -c "import sys; print sum((float(l) for l in sys.stdin))" < random_numbers
0.27s user 0.00s system 89% cpu 0.298 total
Python 3（3.6.8）
$ time python3 -c "import sys; print(sum((float(l) for l in sys.stdin)))" < random_number
0.37s user 0.02s system 98% cpu 0.393 total
ルビー（2.3.3）
$ time Ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
0.42s user
0.03s system
72% cpu
0.625 total
Perl（5.24.1）
$ time Perl -nle '$sum += $_ } END { print $sum' random_numbers
0.24s user
0.01s system
99% cpu
0.249 total
Awk（4.1.4）
$ time awk '{ sum += $0 } END { print sum }' random_numbers
0.26s user
0.01s system
99% cpu
0.265 total
$ time awk '{ sum += $1 } END { print sum }' random_numbers
0.34s user
0.01s system
99% cpu
0.354 total
C (clang version 3.3; gcc (Debian 6.3.0-18) 6.3.0 )
$ gcc sum.c -o sum && time ./sum < random_numbers
0.10s user
0.00s system
96% cpu
0.108 total
追加の言語で更新する
ルア（5.3.5）
$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
0.30s user
0.01s system
98% cpu
0.312 total
tr（8.26）bashで時間を計る必要があり、zshと互換性がありません
$time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
real 0m0.494s
user 0m0.488s
sys 0m0.044s
sed（4.4）bashで時間を計る必要があり、zshと互換性がありません
$ time { head -n 10000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real 0m0.631s
user 0m0.628s
sys 0m0.008s
$ time { head -n 100000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real 1m2.593s
user 1m2.588s
sys 0m0.012s
注：sed呼び出しは、より多くのメモリを使用できるシステムでより高速に動作するようです（sedのベンチマークに使用される小さなデータセットに注意してください）
ジュリア（0.5.0）
$ time Julia -e 'print(sum(readdlm("random_numbers")))'
3.00s user
1.39s system
136% cpu
3.204 total
$ time Julia -e 'print(sum(readtable("random_numbers")))'
0.63s user
0.96s system
248% cpu
0.638 total
Rと同様に、ファイルI/Oメソッドのパフォーマンスは異なります。
私はこれをテストしていませんが、動作するはずです：
cat f | tr "\n" "+" | sed 's/+$/\n/' | bc
BcがEOFおよびEOLを処理しない場合は、bcの前に文字列に「\ n」を追加する必要があります（エコー経由など）。
もう一つの楽しみ
sum=0;for i in $(cat file);do sum=$((sum+$i));done;echo $sum
または別のbashのみ
s=0;while read l; do s=$((s+$l));done<file;echo $s
ただし、最もコンパクトなawkソリューションが最適です。
Rubyの場合：
Ruby -e "File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"
Cは常に速度を優先します。
#include <stdio.h>
#include <stdlib.h>
int main(int argc, char **argv) {
ssize_t read;
char *line = NULL;
size_t len = 0;
double sum = 0.0;
while (read = getline(&line, &len, stdin) != -1) {
sum += atof(line);
}
printf("%f", sum);
return 0;
}
1M数のタイミング（同じマシン/私のpython回答と同じ入力）：
$ gcc sum.c -o sum && time ./sum < numbers
5003371677.000000
real 0m0.188s
user 0m0.180s
sys 0m0.000s
ここに別のものがあります：
open(FIL, "a.txt");
my $sum = 0;
foreach( <FIL> ) {chomp; $sum += $_;}
close(FIL);
print "Sum = $sum\n";
ファイル全体を読む必要があることを考慮して、これよりもはるかに良くなるかどうかはわかりません。
$sum = 0;
while(<>){
$sum += $_;
}
print $sum;
すべての新しい行を+で置き換え、0を追加してRubyインタープリターに送信するのは簡単ではありませんか？
(sed -e "s/$/+/" file; echo 0)|irb
irbがない場合は、bcに送信できますが、最後の（echoの）改行を除くすべての改行を削除する必要があります。 trにPhDがない限り、これにはsedを使用することをお勧めします。
(sed -e "s/$/+/" file|tr -d "\n"; echo 0)|bc