Bashシェルの起動には3〜4秒かかりますが、--norc
すぐに実行されます。
「プロファイリング」を開始しました/etc/bash.bashrc
および~/.bashrc
手動でreturn
ステートメントを挿入し、速度の改善を求めますが、これは定量的なプロセスではなく、効率的でもありません。
Bashスクリプトのプロファイルを作成し、起動に最も時間がかかるコマンドを確認するにはどうすればよいですか?
編集:2016年3月add script
method
これを読んでプロファイリングは重要なステップであるため、このSO質問および既に回答が投稿されています。
4つ以上の答えがあります:
最後は、script
、scriptreplay
、およびtiming fileを使用します。
最後に、最後にパフォーマンスを少し比較します。
set -x
およびdate
を使用しますが、制限はforksです@DennisWilliamsonのアイデアを参考にしてください。ただし、次の構文では、3つのコマンドに対する最初の分岐は1つだけです。
exec 3>&2 2> >(tee /tmp/sample-time.$$.log |
sed -u 's/^.*$/now/' |
date -f - +%s.%N >/tmp/sample-time.$$.tim)
set -x
これを行うと、date
が1回だけ実行されます。それがどのように機能するかを示す簡単なデモ/テストがあります:
for i in {1..4};do echo now;sleep .05;done| date -f - +%N
サンプルスクリプト:
#!/bin/bash
exec 3>&2 2> >( tee /tmp/sample-$$.log |
sed -u 's/^.*$/now/' |
date -f - +%s.%N >/tmp/sample-$$.tim)
set -x
for ((i=3;i--;));do sleep .1;done
for ((i=2;i--;))
do
tar -cf /tmp/test.tar -C / bin
gzip /tmp/test.tar
rm /tmp/test.tar.gz
done
set +x
exec 2>&3 3>&-
このスクリプトを実行して、2つのファイルを作成します:/tmp/sample-XXXX.log
と/tmp/sample-XXXX.tim
(XXXXは実行中のスクリプトのプロセスIDです)。
paste
を使用して表示できます:
paste tmp/sample-XXXX.{tim,log}
または、差分時間を計算することもできます:
paste <(
while read tim ;do
crt=000000000$((${tim//.}-10#0$last))
printf "%12.9f\n" ${crt:0:${#crt}-9}.${crt:${#crt}-9}
last=${tim//.}
done < sample-time.24804.tim
) sample-time.24804.log
1388487534.391309713 + (( i=3 ))
0.000080807 + (( i-- ))
0.000008312 + sleep .1
0.101304843 + (( 1 ))
0.000032616 + (( i-- ))
0.000007124 + sleep .1
0.101251684 + (( 1 ))
0.000033036 + (( i-- ))
0.000007054 + sleep .1
0.104013813 + (( 1 ))
0.000026959 + (( i-- ))
0.000006915 + (( i=2 ))
0.000006635 + (( i-- ))
0.000006844 + tar -cf /tmp/test.tar -C / bin
0.022655107 + gzip /tmp/test.tar
0.637042668 + rm /tmp/test.tar.gz
0.000823649 + (( 1 ))
0.000011314 + (( i-- ))
0.000006915 + tar -cf /tmp/test.tar -C / bin
0.016084482 + gzip /tmp/test.tar
0.627798263 + rm /tmp/test.tar.gz
0.001294946 + (( 1 ))
0.000023187 + (( i-- ))
0.000006845 + set +x
または2つの列に:
paste <(
while read tim ;do
[ -z "$last" ] && last=${tim//.} && first=${tim//.}
crt=000000000$((${tim//.}-10#0$last))
ctot=000000000$((${tim//.}-10#0$first))
printf "%12.9f %12.9f\n" ${crt:0:${#crt}-9}.${crt:${#crt}-9} \
${ctot:0:${#ctot}-9}.${ctot:${#ctot}-9}
last=${tim//.}
done < sample-time.24804.tim
) sample-time.24804.log
レンダリング可能性があります:
0.000000000 0.000000000 + (( i=3 ))
0.000080807 0.000080807 + (( i-- ))
0.000008312 0.000089119 + sleep .1
0.101304843 0.101393962 + (( 1 ))
0.000032616 0.101426578 + (( i-- ))
0.000007124 0.101433702 + sleep .1
0.101251684 0.202685386 + (( 1 ))
0.000033036 0.202718422 + (( i-- ))
0.000007054 0.202725476 + sleep .1
0.104013813 0.306739289 + (( 1 ))
0.000026959 0.306766248 + (( i-- ))
0.000006915 0.306773163 + (( i=2 ))
0.000006635 0.306779798 + (( i-- ))
0.000006844 0.306786642 + tar -cf /tmp/test.tar -C / bin
0.022655107 0.329441749 + gzip /tmp/test.tar
0.637042668 0.966484417 + rm /tmp/test.tar.gz
0.000823649 0.967308066 + (( 1 ))
0.000011314 0.967319380 + (( i-- ))
0.000006915 0.967326295 + tar -cf /tmp/test.tar -C / bin
0.016084482 0.983410777 + gzip /tmp/test.tar
0.627798263 1.611209040 + rm /tmp/test.tar.gz
0.001294946 1.612503986 + (( 1 ))
0.000023187 1.612527173 + (( i-- ))
0.000006845 1.612534018 + set +x
trap debug
および/proc/timer_list
を使用、withoutforks。GNU/Linuxの最近のカーネルの下には、/proc
という名前のtimer_list
ファイルがあります。
grep 'now at\|offset' /proc/timer_list
now at 5461935212966259 nsecs
.offset: 0 nsecs
.offset: 1383718821564493249 nsecs
.offset: 0 nsecs
現在の時刻は5461935212966259 + 1383718821564493249
の合計ですが、ナノ秒単位です。
経過時間を計算するために、オフセットを知る必要はありません。
この種の仕事のために、私は elap.bash(V2) を書きました。これは次の構文をソースとしています。
source elap.bash-v2
または
. elap.bash-v2 init
(完全な構文についてはコメントをご覧ください)
したがって、スクリプトの先頭に次の行を追加するだけです。
. elap.bash-v2 trap2
少しのサンプル:
#!/bin/bash
. elap.bash-v2 trap
for ((i=3;i--;));do sleep .1;done
elapCalc2
elapShowTotal \\e[1mfirst total\\e[0m
for ((i=2;i--;))
do
tar -cf /tmp/test.tar -C / bin
gzip /tmp/test.tar
rm /tmp/test.tar.gz
done
trap -- debug
elapTotal \\e[1mtotal time\\e[0m
ホストでレンダリングする:
0.000947481 Starting
0.000796900 ((i=3))
0.000696956 ((i--))
0.101969242 sleep .1
0.000812478 ((1))
0.000755067 ((i--))
0.103693305 sleep .1
0.000730482 ((1))
0.000660360 ((i--))
0.103565001 sleep .1
0.000719516 ((1))
0.000671325 ((i--))
0.000754856 elapCalc2
0.316018113 first total
0.000754787 elapShowTotal \e[1mfirst total\e[0m
0.000711275 ((i=2))
0.000683408 ((i--))
0.075673816 tar -cf /tmp/test.tar -C / bin
0.596389329 gzip /tmp/test.tar
0.006565188 rm /tmp/test.tar.gz
0.000830217 ((1))
0.000759466 ((i--))
0.024783966 tar -cf /tmp/test.tar -C / bin
0.604119903 gzip /tmp/test.tar
0.005172940 rm /tmp/test.tar.gz
0.000952299 ((1))
0.000827421 ((i--))
1.635788924 total time
1.636657204 EXIT
ソースコマンドの引数としてtrap
の代わりにtrap2
を使用する:
#!/bin/bash
. elap.bash-v2 trap2
...
2つの列をレンダリングします最後のコマンドと合計:
0.000894541 0.000894541 Starting
0.001306122 0.002200663 ((i=3))
0.001929397 0.004130060 ((i--))
0.103035812 0.107165872 sleep .1
0.000875613 0.108041485 ((1))
0.000813872 0.108855357 ((i--))
0.104954517 0.213809874 sleep .1
0.000900617 0.214710491 ((1))
0.000842159 0.215552650 ((i--))
0.104846890 0.320399540 sleep .1
0.000899082 0.321298622 ((1))
0.000811708 0.322110330 ((i--))
0.000879455 0.322989785 elapCalc2
0.322989785 first total
0.000906692 0.323896477 elapShowTotal \e[1mfirst total\e[0m
0.000820089 0.324716566 ((i=2))
0.000773782 0.325490348 ((i--))
0.024752613 0.350242961 tar -cf /tmp/test.tar -C / bin
0.596199363 0.946442324 gzip /tmp/test.tar
0.003007128 0.949449452 rm /tmp/test.tar.gz
0.000791452 0.950240904 ((1))
0.000779371 0.951020275 ((i--))
0.030519702 0.981539977 tar -cf /tmp/test.tar -C / bin
0.584155405 1.565695382 gzip /tmp/test.tar
0.003058674 1.568754056 rm /tmp/test.tar.gz
0.000955093 1.569709149 ((1))
0.000919964 1.570629113 ((i--))
1.571516599 total time
0.001723708 1.572352821 EXIT
strace
を使用はい、strace
ができます:
strace -q -f -s 10 -ttt sample-script 2>sample-script-strace.log
しかし、たくさんのものを作ることができます!
wc sample-script-strace.log
6925 57637 586518 sample-script-strace.log
より制限されたコマンドの使用:
strace -f -s 10 -ttt -eopen,access,read,write ./sample-script 2>sample-script-strace.log
より軽いログをダンプします:
4519 36695 374453 sample-script-strace.log
検索対象によっては、より制限が厳しい場合があります。
strace -f -s 10 -ttt -eaccess,open ./sample-script 2>&1 | wc
189 1451 13682
それらを読むのは少し難しくなります:
{
read -a first
first=${first//.}
last=$first
while read tim line;do
crt=000000000$((${tim//.}-last))
ctot=000000000$((${tim//.}-first))
printf "%9.6f %9.6f %s\n" ${crt:0:${#crt}-6}.${crt:${#crt}-6} \
${ctot:0:${#ctot}-6}.${ctot:${#ctot}-6} "$line"
last=${tim//.}
done
} < <(
sed </tmp/sample-script.strace -e '
s/^ *//;
s/^\[[^]]*\] *//;
/^[0-9]\{4\}/!d
')
0.000110 0.000110 open("/lib/x86_64-linux-gnu/libtinfo.so.5", O_RDONLY) = 4
0.000132 0.000242 open("/lib/x86_64-linux-gnu/libdl.so.2", O_RDONLY) = 4
0.000121 0.000363 open("/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY) = 4
0.000462 0.000825 open("/dev/tty", O_RDWR|O_NONBLOCK) = 4
0.000147 0.000972 open("/usr/lib/locale/locale-archive", O_RDONLY) = 4
...
0.000793 1.551331 open("/etc/ld.so.cache", O_RDONLY) = 4
0.000127 1.551458 open("/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY) = 4
0.000545 1.552003 open("/usr/lib/locale/locale-archive", O_RDONLY) = 4
0.000439 1.552442 --- SIGCHLD (Child exited) @ 0 (0) ---
元のbash scriptは、これを簡単に理解できない...
script
、scriptreplay
、およびtiming fileを使用BSD Utilsの一部として、script
(およびscriptreplay
)は非常に古いツールであり、非常に小さなフットプリントでbashのプロファイルを作成できます。
script -t script.log 2>script.tim -c 'bash -x -c "
for ((i=3;i--;));do sleep .1;done
for ((i=2;i--;)) ;do
tar -cf /tmp/test.tar -C / bin
gzip /tmp/test.tar
rm /tmp/test.tar.gz
done
"'
生産します:
Script started on Fri Mar 25 08:29:37 2016
+ (( i=3 ))
+ (( i-- ))
+ sleep .1
+ (( 1 ))
+ (( i-- ))
+ sleep .1
+ (( 1 ))
+ (( i-- ))
+ sleep .1
+ (( 1 ))
+ (( i-- ))
+ (( i=2 ))
+ (( i-- ))
+ tar -cf /tmp/test.tar -C / bin
+ gzip /tmp/test.tar
+ rm /tmp/test.tar.gz
+ (( 1 ))
+ (( i-- ))
+ tar -cf /tmp/test.tar -C / bin
+ gzip /tmp/test.tar
+ rm /tmp/test.tar.gz
+ (( 1 ))
+ (( i-- ))
Script done on Fri Mar 25 08:29:39 2016
2つのファイルを生成します。
ls -l script.*
-rw-r--r-- 1 user user 450 Mar 25 08:29 script.log
-rw-r--r-- 1 user user 177 Mar 25 08:29 script.tim
ファイルscript.log
にはすべてのトレースが含まれ、script.tim
はタイミングファイルです。
head -n 4 script.*
==> script.log <==
Script started on Fri Mar 25 08:29:37 2016
+ (( i=3 ))
+ (( i-- ))
+ sleep .1
==> script.tim <==
0.435331 11
0.000033 2
0.000024 11
0.000010 2
ログファイルの最初の行と最後の行、および/またはタイミングファイルの時間を要約することで、合計実行時間を確認できます。
head -n1 script.log ;tail -n1 script.log
Script started on Fri Mar 25 08:29:37 2016
Script done on Fri Mar 25 08:29:39 2016
sed < script.tim 's/ .*$//;H;${x;s/\n/+/g;s/^\+//;p};d' | bc -l
2.249755
タイミングファイルでは、2番目の値は対応するログファイルの次のバイト数です。これにより、オプションでreplayingログファイルとacceleration factorを使用できます。
scriptreplay script.{tim,log}
または
scriptreplay script.{tim,log} 5
または
scriptreplay script.{tim,log} .2
時間とコマンドを並べて表示することも少し複雑です。
exec 4<script.log
read -u 4 line
echo $line ;while read tim char;do
read -u 4 -N $char -r -s line
echo $tim $line
done < script.tim &&
while read -u 4 line;do
echo $line
done;exec 4<&-
Script started on Fri Mar 25 08:28:51 2016
0.558012 + (( i=3 ))
0.000053
0.000176 + (( i-- ))
0.000015
0.000059 + sleep .1
0.000015
+ sleep .1) + (( 1 ))
+ sleep .1) + (( 1 ))
+ tar -cf /tmp/test.tar -C / bin
0.035024 + gzip /tmp/test.tar
0.793846 + rm /tmp/test.tar.gz
+ tar -cf /tmp/test.tar -C / bin
0.024971 + gzip /tmp/test.tar
0.729062 + rm /tmp/test.tar.gz
+ (( i-- )) + (( 1 ))
Script done on Fri Mar 25 08:28:53 2016
テストを行うために、このスクリプトを bash complex hello world のサンプルsecondをダウンロードしましたホストで完了するには約0.72秒かかります。
スクリプトの先頭に次のいずれかを追加しました。
elap.bash
関数による
#!/bin/bash
source elap.bash-v2 trap2
eval "BUNCHS=(" $(Perl <<EOF | gunzip
...
set -x
およびPS4
によって
#!/bin/bash
PS4='+ $(date "+%s.%N")\011 '
exec 3>&2 2>/tmp/bashstart.$$.log
set -x
eval "BUNCHS=(" $(Perl <<EOF | gunzip
...
set -x
および長いexecコマンドへの初期フォーク
#!/bin/bash
exec 3>&2 2> >(tee /tmp/sample-time.$$.log |
sed -u 's/^.*$/now/' |
date -f - +%s.%N >/tmp/sample-time.$$.tim)
set -x
eval "BUNCHS=(" $(Perl <<EOF | gunzip
script
(およびset +x
)
script -t helloworld.log 2>helloworld.tim -c '
bash -x complex_helloworld-2.sh' >/dev/null
そして、実行時間を比較します(私のホストで):
elap.bash
関数による
0.000950277 0.000950277 Starting
0.007618964 0.008569241 eval "BUNCHS=(" $(Perl <<EOF | gunzi
0.005259953 0.013829194 BUNCHS=("2411 1115 -13 15 33 -3 15 1
0.010945070 0.024774264 MKey="V922/G/,2:"
0.001050990 0.025825254 export RotString=""
0.004724348 0.030549602 initRotString
0.001322184 0.031871786 for bunch in "${BUNCHS[@]}"
0.000768893 0.032640679 out=""
0.001008242 0.033648921 bunchArray=($bunch)
0.000741095 0.034390016 ((k=0))
set -x
およびPS4
によって
++ 1388598366.536099290 Perl
++ 1388598366.536169132 gunzip
+ 1388598366.552794757 eval 'BUNCHS=(' '"2411' 1115 -13 15 33 -3 15 1
++ 1388598366.555001983 BUNCHS=("2411 1115 -13 15 33 -3 15 13111 -6 1
+ 1388598366.557551018 MKey=V922/G/,2:
+ 1388598366.558316839 export RotString=
+ 1388598366.559083848 RotString=
+ 1388598366.560165147 initRotString
+ 1388598366.560942633 local _i _char
+ 1388598366.561706988 RotString=
set -x
および長いexecコマンドへの初期フォーク(および2番目のpaste
サンプルスクリプト)
0.000000000 0.000000000 ++ Perl
0.008141159 0.008141159 ++ gunzip
0.000007822 0.008148981 + eval 'BUNCHS=(' '"2411' 1115 -13 15 33 -3
0.000006216 0.008155197 ++ BUNCHS=("2411 1115 -13 15 33 -3 15 13111
0.000006216 0.008161413 + MKey=V922/G/,2:
0.000006076 0.008167489 + export RotString=
0.000006007 0.008173496 + RotString=
0.000006006 0.008179502 + initRotString
0.000005937 0.008185439 + local _i _char
0.000006006 0.008191445 + RotString=
strace
0.000213 0.000213 brk(0) = 0x17b6000
0.000044 0.000257 access("/etc/ld.so.nohwcap", F_OK) = -1 ENOENT (No such file or directory)
0.000047 0.000304 mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7faf1c0dc000
0.000040 0.000344 access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory)
0.000040 0.000384 open("/etc/ld.so.cache", O_RDONLY) = 4
...
0.000024 4.425049 close(10) = 0
0.000042 4.425091 rt_sigprocmask(SIG_BLOCK, NULL, [], 8) = 0
0.000028 4.425119 read(255, "", 4409) = 0
0.000058 4.425177 exit_group(0) = ?
script
Le script a débuté sur ven 25 mar 2016 09:18:35 CET
0.667160 ++ gunzip
0.000025
0.000948 ++ Perl
0.000011
0.005338 + eval 'BUNCHS=(' '"2411' 1115 -13 15 33 -3 15 13111 -6 1 111 4
0.000044 1223 15 3311 121121 17 3311 121121 1223 3311 121121 17 3311 121
0.000175 ++ BUNCHS=("2411 1115 -13 15 33 -3 15 13111 -6 15 1114 15 12211
0.000029 1 1321 12211 412 21211 33 21211 -2 15 2311 11121 232 121111 122
0.000023 4 3311 121121 12221 3311 121121 12221 3311 121121 1313 -6 15 33
まあ! pure bashが各コマンドで日付をフォークするよりも速い場合、純粋なbashは各コマンドでのいくつかの操作を意味します。
ロギングと保存のための独立したプロセスを専用にする方法は、明らかに効率的です。
strace
は興味深い方法で、より詳細ですが、読みにくいです。
script
、およびscriptreplay
を使用し、加速係数も非常に優れています。プロセス実行ではなくコンソール交換に基づく精度とは異なりますが、非常に軽量で効率的です(同じ目標ではなく、同じ使用法ではありません)。
最後に、読みやすさとパフォーマンスにおいてより効率的であるのはset + 1 fork
であると思います。この答えの最初の、しかし、特定のケースに応じて、私はいつかstrace
および/またはscript
も。
多くの場合、システムコールをトレースするのに役立ちます
strace -c -f ./script.sh
マニュアルから:
-c各システムコールの時間、呼び出し、およびエラーをカウントし、プログラムの終了に関する概要を報告します。
-f子プロセスをトレース...
これはまさにあなたが望むものではなく、ライン指向のプロファイラがあなたに見せるものではありませんが、通常はホットスポットを見つけるのに役立ちます。
[〜#〜] debug [〜#〜]条件でtrap
コマンドを見ることができます。コマンドとともに実行するコマンドを設定する方法があります。回答のメモを参照してください。
この post byAlan Hargreavesは、DTraceプロバイダーを使用してBourne Shellスクリプトをプロファイリングする方法を説明しています。私の知る限り、これはSolarisおよびOpenSolarisで機能します( / bin/sh DTrace Provider を参照)。
したがって、次のdtraceスクリプト( sh_flowtime.d
GHに基づいて 元 ):
#!/usr/sbin/dtrace -Zs
#pragma D option quiet
#pragma D option switchrate=10
dtrace:::BEGIN
{
depth = 0;
printf("%s %-20s %-22s %s %s\n", "C", "TIME", "FILE", "DELTA(us)", "NAME");
}
sh*:::function-entry
{
depth++;
printf("%d %-20Y %-22s %*s-> %s\n", cpu, walltimestamp,
basename(copyinstr(arg0)), depth*2, "", copyinstr(arg1));
}
sh*:::function-return
{
printf("%d %-20Y %-22s %*s<- %s\n", cpu, walltimestamp,
basename(copyinstr(arg0)), depth*2, "", copyinstr(arg1));
depth--;
}
sh*:::builtin-entry
{
printf("%d %-20Y %-22s %*s > %s\n", cpu, walltimestamp,
basename(copyinstr(arg0)), depth*2, "", copyinstr(arg1));
}
sh*:::command-entry
{
printf("%d %-20Y %-22s %*s | %s\n", cpu, walltimestamp,
basename(copyinstr(arg0)), depth*2, "", copyinstr(arg1));
}
デルタ時間を含む関数フローをトレースできます。
サンプル出力:
# ./sh_flowtime.d
C TIME FILE DELTA(us) -- NAME
0 2007 Aug 10 18:52:51 func_abc.sh 0 -> func_a
0 2007 Aug 10 18:52:51 func_abc.sh 54 > echo
0 2007 Aug 10 18:52:52 func_abc.sh 1022880 | sleep
0 2007 Aug 10 18:52:52 func_abc.sh 34 -> func_b
0 2007 Aug 10 18:52:52 func_abc.sh 44 > echo
0 2007 Aug 10 18:52:53 func_abc.sh 1029963 | sleep
0 2007 Aug 10 18:52:53 func_abc.sh 44 -> func_c
0 2007 Aug 10 18:52:53 func_abc.sh 43 > echo
0 2007 Aug 10 18:52:54 func_abc.sh 1029863 | sleep
0 2007 Aug 10 18:52:54 func_abc.sh 33 <- func_c
0 2007 Aug 10 18:52:54 func_abc.sh 14 <- func_b
0 2007 Aug 10 18:52:54 func_abc.sh 7 <- func_a
次に、sort -nrk7
コマンドを使用すると、出力をソートして、最も消費の多い呼び出しを表示できます。
他のシェルで利用可能なプロバイダープローブを知らないので、調査(GitHub検索?)を行うか、時間をかけたい場合は、既存のshに基づいて作成できます例:(参照: sh DTraceプロバイダーをアクティブにする方法? )。
時間、xtrace、bash -x、set -x
およびset+x
( http://tldp.org/LDP/Bash-Beginners-Guide/html/sect_02_03.html )は、スクリプトをデバッグするための従来の方法のままです。
地平線を拡大するために、通常のLinuxプログラムで利用可能なデバッグおよびプロファイリングのシステムをチェックすることができます [ここのリストの1つ] 、例えば valgrind 特にメモリのデバッグや sysprof システム全体のプロファイル:
Sysprofの場合:
Sysprofを使用すると、マルチスレッドまたはマルチプロセスアプリケーションを含む、マシンで実行されているすべてのアプリケーションのプロファイルを作成できます...
そして、面白いと思うサブプロセスのブランチを選択した後。
Valgrindの場合:
さらにジムがあれば、通常はバイナリからインストールするいくつかのプログラムをValgrindにvisibleにすることができるようです(たとえば OpenOffice )。
valgrindのFAQ から読み取ることが可能です。明示的に要求された場合、Valgrind
は子プロセスをプロファイルします。
...デフォルトでトップレベルのプロセスのみをトレースする場合でも、プログラムがシェルスクリプト、Perlスクリプト、または類似の何か、Valgrindはシェル、Perlインタープリター、または同等のものをトレースします...
このオプションを有効にして実行します
--trace-children=yes
追加の参照: