web-dev-qa-db-ja.com

(Robert Kernの)line_profilerを使用するにはどうすればよいですか?

Pythonファイルで行ごとのプロファイルを取得するためにline_profilerモジュールを使用してみました。これは私がこれまでに行ったことです:

1).exeファイルを使用して pypi からline_profilerをインストールしました(WinXPおよびWin7を使用しています)。インストールウィザードをクリックしただけです。

2)小さなコードを記述しました(別の回答された質問で尋ねられたものと同様 here )。

from line_profiler import LineProfiler
def do_stuff(numbers):
    print numbers

numbers = 2
profile = LineProfiler(do_stuff(numbers))
profile.print_stats()

3)IDLE/PyScripterからコードを実行します。時間しか取れませんでした。

Timer unit: 4.17188e-10 s

実行するコードで完全な行ごとのプロファイルを取得するにはどうすればよいですか?私はデコレーターのような高度なPython機能を使用したことがないので、 here や- ここ

21

最初の link からDan Ritiの例に従ってください。ただし、コードを使用してください。 line_profilerモジュールのインストール後に行う必要があるのは、行ごとにプロファイルする各関数の直前に@profileデコレーターを追加し、各関数が少なくとも1回は他の場所で呼び出されていることを確認することだけです。コード-ですから、次のような簡単なサンプルコードの場合:

example.pyファイル:

@profile
def do_stuff(numbers):
    print numbers

numbers = 2
do_stuff(numbers)

それが終わったら、kernprof.pyを介してスクリプトを実行します C:\Python27\Scriptsディレクトリにインストールされています。これは、Windows 7のコマンドラインセッションでこれを実行した場合の(それほど興味深いものではない)実際の出力です。

> python "C:\Python27\Scripts\kernprof.py" -l -v example.py
2
Wrote profile results to example.py.lprof
Timer unit: 3.2079e-07 s

File: example.py
Function: do_stuff at line 2
Total time: 0.00185256 s

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     1                                           @profile
     2                                           def do_stuff(numbers):
     3         1         5775   5775.0    100.0      print numbers

IDLEまたはPyScripter内から同等の操作を行うには、この最後のステップ(Pythonインタープリターによる直接の代わりにkernprof.pyを使用したテストスクリプトの実行)を実行する必要があります。

更新

line_profiler v1.0では、kernprofユーティリティは実行可能ファイルとして配布されているようですが、上で書いたときの.pyスクリプトファイルではありません。これは、コマンドラインから呼び出すために以下を使用する必要があることを意味します。

> "C:\Python27\Scripts\kernprof.exe" -l -v example.py
13
martineau

この回答は私の回答のコピーです ここ Pythonスクリプト内からline_profiler統計を取得する方法について(からのkernprofを使用せずに)コマンドラインまたは@profileデコレータを関数とクラスメソッドに追加する必要がある)同様のline_profiler質問に対するすべての回答(私が見たもの)は、kernprofの使用についてのみ説明しています。


line_profilerテストケース( GitHub にあります)には、Pythonスクリプト内からプロファイルデータを生成する方法の例があります。関数をラップする必要があります。プロファイリングしたいラッパーを呼び出して、必要な関数引数を渡します。

from line_profiler import LineProfiler
import random

def do_stuff(numbers):
    s = sum(numbers)
    l = [numbers[i]/43 for i in range(len(numbers))]
    m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()

出力:

Timer unit: 1e-06 s

Total time: 0.000649 s
File: <ipython-input-2-2e060b054fea>
Function: do_stuff at line 4

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     4                                           def do_stuff(numbers):
     5         1           10     10.0      1.5      s = sum(numbers)
     6         1          186    186.0     28.7      l = [numbers[i]/43 for i in range(len(numbers))]
     7         1          453    453.0     69.8      m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

プロファイルへの追加機能の追加

また、プロファイリングする機能を追加することもできます。たとえば、2番目のcalled関数があり、calling関数のみをラップする場合、プロファイル結果のみが表示されますcalling関数から。

from line_profiler import LineProfiler
import random

def do_other_stuff(numbers):
    s = sum(numbers)

def do_stuff(numbers):
    do_other_stuff(numbers)
    l = [numbers[i]/43 for i in range(len(numbers))]
    m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()

上記は、calling関数の次のプロファイル出力のみを生成します。

Timer unit: 1e-06 s

Total time: 0.000773 s
File: <ipython-input-3-ec0394d0a501>
Function: do_stuff at line 7

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     7                                           def do_stuff(numbers):
     8         1           11     11.0      1.4      do_other_stuff(numbers)
     9         1          236    236.0     30.5      l = [numbers[i]/43 for i in range(len(numbers))]
    10         1          526    526.0     68.0      m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

この場合、追加のcalled関数を次のようにプロファイルに追加できます。

from line_profiler import LineProfiler
import random

def do_other_stuff(numbers):
    s = sum(numbers)

def do_stuff(numbers):
    do_other_stuff(numbers)
    l = [numbers[i]/43 for i in range(len(numbers))]
    m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp.add_function(do_other_stuff)   # add additional function to profile
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()

出力:

Timer unit: 1e-06 s

Total time: 9e-06 s
File: <ipython-input-4-dae73707787c>
Function: do_other_stuff at line 4

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     4                                           def do_other_stuff(numbers):
     5         1            9      9.0    100.0      s = sum(numbers)

Total time: 0.000694 s
File: <ipython-input-4-dae73707787c>
Function: do_stuff at line 7

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     7                                           def do_stuff(numbers):
     8         1           12     12.0      1.7      do_other_stuff(numbers)
     9         1          208    208.0     30.0      l = [numbers[i]/43 for i in range(len(numbers))]
    10         1          474    474.0     68.3      m = ['hello'+str(numbers[i]) for i in range(len(numbers))]

注:この方法で関数をプロファイルに追加するには、プロファイルされたコードを変更する必要はありません(つまり、@profileデコレータを追加する必要はありません)。

38
tdube