web-dev-qa-db-ja.com

node.jsのパフォーマンスとzeromqの比較Pythonとの比較Java

Node.js、Python、Javaを使用してzeromqの簡単なエコー要求/応答テストを記述しました。コードは100Kリクエストのループを実行します。プラットフォームは、Snow Leopardを実行している2コアと3Gの5インチMacBook Pro RAM=です。

node.jsは、他の2つのプラットフォームよりも一貫して1桁遅いです。

Java：real 0m18.823s user 0m2.735s sys 0m6.042s

Python：real 0m18.600s user 0m2.656s sys 0m5.857s

node.js：real 3m19.034s user 2m43.460s sys 0m24.668s

興味深いことに、PythonおよびJavaの場合、クライアントプロセスとサーバープロセスはどちらもCPUの約半分を使用します。node.jsのクライアントは、ほぼ完全なCPUを使用し、サーバーはCPUの約30％を使用します。クライアントプロセスにも膨大な数のページフォールトがあり、これがメモリの問題であると思い込んでいます。また、10Kリクエストでは、ノードは3倍遅くなるだけです。それが実行されます。

次にクライアントコードを示します（process.exit（）行も機能しないことに注意してください。これが、timeコマンドの使用に加えて内部タイマーを含めた理由です）。

var zeromq = require("zeromq");

var counter = 0;
var startTime = new Date();

var maxnum = 10000;

var socket = zeromq.createSocket('req');

socket.connect("tcp://127.0.0.1:5502");
console.log("Connected to port 5502.");

function moo()
{
    process.nextTick(function(){
        socket.send('Hello');
        if (counter < maxnum)
        {
            moo();
        }
    });
}

moo();

socket.on('message',
          function(data)
          {
              if (counter % 1000 == 0)
              {
                  console.log(data.toString('utf8'), counter);
              }

              if (counter >= maxnum)
              {
                  var endTime = new Date();
                  console.log("Time: ", startTime, endTime);
                  console.log("ms  : ", endTime - startTime);
                  process.exit(0);
              }

              //console.log("Received: " + data);
              counter += 1;

          }
);

socket.on('error', function(error) {
  console.log("Error: "+error);
});

サーバーコード：

var zeromq = require("zeromq");

var socket = zeromq.createSocket('rep');

socket.bind("tcp://127.0.0.1:5502",
            function(err)
            {
                if (err) throw err;
                console.log("Bound to port 5502.");

                socket.on('message', function(envelope, blank, data)
                          {
                              socket.send(envelope.toString('utf8') + " Blancmange!");
                          });

                socket.on('error', function(err) {
                    console.log("Error: "+err);
                });
            }
);

比較のために、Pythonクライアントとサーバーのコード：

import zmq

context = zmq.Context()
socket = context.socket(zmq.REQ)
socket.connect("tcp://127.0.0.1:5502")

for counter in range(0, 100001):
    socket.send("Hello")
    message = socket.recv()

    if counter % 1000 == 0:
        print message, counter



import zmq

context = zmq.Context()
socket = context.socket(zmq.REP)

socket.bind("tcp://127.0.0.1:5502")
print "Bound to port 5502."

while True:
    message = socket.recv()
    socket.send(message + " Blancmange!")

そしてJavaクライアントとサーバーのコード：

package com.moo.test;

import org.zeromq.ZMQ;
import org.zeromq.ZMQ.Context;
import org.zeromq.ZMQ.Socket;

public class TestClient
{
    public static void main (String[] args)
    {
        Context context = ZMQ.context(1);

        Socket requester = context.socket(ZMQ.REQ);
        requester.connect("tcp://127.0.0.1:5502");

        System.out.println("Connected to port 5502.");

        for (int counter = 0; counter < 100001; counter++)
        {
            if (!requester.send("Hello".getBytes(), 0))
            {
                throw new RuntimeException("Error on send.");
            }

            byte[] reply = requester.recv(0);
            if (reply == null)
            {
                throw new RuntimeException("Error on receive.");
            }

            if (counter % 1000 == 0)
            {
                String replyValue = new String(reply);
                System.out.println((new String(reply)) + " " + counter);
            }
        }

        requester.close();
        context.term();
    }
}

package com.moo.test;

import org.zeromq.ZMQ;
import org.zeromq.ZMQ.Context;
import org.zeromq.ZMQ.Socket;

public class TestServer
{
    public static void main (String[] args) {
        Context context = ZMQ.context(1);

        Socket socket  = context.socket(ZMQ.REP);
        socket.bind("tcp://127.0.0.1:5502");

        System.out.println("Bound to port 5502.");

        while (!Thread.currentThread().isInterrupted())
        {
            byte[] request = socket.recv(0);
            if (request == null)
            {
                throw new RuntimeException("Error on receive.");
            }

            if (!socket.send(" Blancmange!".getBytes(), 0))
            {
                throw new RuntimeException("Error on send.");
            }
        }

        socket.close();
        context.term();
    }
}

私はnodeが好きですが、コードサイズ、シンプルさ、パフォーマンスに大きな違いがあるため、この時点では自分を納得させるのに苦労します。

それで、以前にこのような動作を見た人はいますか、それともコードで何かしらやりましたか？

javapythonnode.jszeromq
29
Scott A

「Pythonの例からロジックをシミュレートしてみてください（前のメッセージを受信した後でのみ次のメッセージを送信します）？」– Andrey Sidorov Jul 11​​ at 6:24

それはその一部だと思います：

var zeromq = require("zeromq");

var counter = 0;
var startTime = new Date();

var maxnum = 100000;

var socket = zeromq.createSocket('req');

socket.connect("tcp://127.0.0.1:5502");
console.log("Connected to port 5502.");

socket.send('Hello');

socket.on('message',
          function(data)
          {
              if (counter % 1000 == 0)
              {
                  console.log(data.toString('utf8'), counter);
              }

              if (counter >= maxnum)
              {
                  var endTime = new Date();
                  console.log("Time: ", startTime, endTime);
                  console.log("ms  : ", endTime - startTime);
                  socket.close(); // or the process.exit(0) won't work.
                  process.exit(0);
              }

              //console.log("Received: " + data);
              counter += 1;

          socket.send('Hello');
          }
     );

socket.on('error', function(error) {
    console.log("Error: "+error);
});

このバージョンは、以前のバージョンと同じように遅くなることはありません。おそらく、サーバーで可能な限り多くのリクエストをスローせず、以前のバージョンのように応答のみをカウントしているためです。以前のバージョンの5〜10倍遅いのに対し、Python/Javaの約1.5倍遅いです。

まだこの目的のためのノードの見事な表彰ではありませんが、「異常」よりもはるかに優れています。

9
Scott A

サードパーティのC++バインディングを使用しています。私が理解している限り、v8の「jsランド」と「c ++ランド」で記述されたv8へのバインディングとの間のクロスオーバーは非常に高価です。気づいたら、人気のある databasebindings for nodeが完全にJSで実装されています（ただし、一部は確かですが、人々は物事をコンパイルしたくないので、非常に高速になる可能性があるためです）。

私が正しく覚えているとしたら、Ryan DahlがノードのBufferオブジェクトを書いているとき、C++ではなくJSでそれらを実装した方が、実際にははるかに高速であることに気付きました。彼は最終的に C++ で必要なことを書き、他のすべてを pure javascript で書きました。

したがって、ここでのパフォーマンスの問題の一部は、その特定のモジュールがC++バインディングであることと関係があると思います。

サードパーティのモジュールに基づいてノードのパフォーマンスを判断することは、その速度や品質を決定するための適切な媒体ではありません。ノードのネイティブのTCPインターフェースをベンチマークすることで、はるかにうまくいくでしょう。

17
chjj

これはノードのzeroMQバインディングの問題でした。いつからかはわかりませんが、修正され、他の言語と同じ結果が得られます。

9
Dan Milon

私はnode.jsにそれほど慣れていませんが、それを実行する方法は、繰り返し新しい関数を繰り返し作成しています。 pythonまたはJavaと同等にするためには、コードを次のようにする必要があります。

    if (counter < maxnum)
    {
       socket.send('Hello');
       processmessages();  // or something similar in node.js if available
    }
4
madprogrammer

REQ/REPソケットを使用したパフォーマンステストは、ラウンドトリップとスレッドレイテンシのためにスキューされます。基本的に、メッセージごとにスタック全体を上下に目覚めさせています。 REQ/REPのケースは決して高いパフォーマンスにはならないので、メトリックとしてはあまり役に立ちません（そうすることはできません）。 2つの優れたパフォーマンステストがあります。

  • 1バイトから1Kまでのさまざまなサイズのメッセージを多数送信する場合は、送信できるメッセージの数を確認してください。 10秒。これにより、基本的なスループットが得られます。これにより、スタックの効率がわかります。
  • エンドツーエンドのレイテンシを測定しますが、メッセージのストリームを測定します。つまり、各メッセージにタイムスタンプを挿入し、受信側の偏差を確認します。これにより、スタックにジッターがあるかどうかがわかります。ガベージコレクションのため。
2
Pieter Hintjens

クライアントpythonコードがループでブロックされています。ノードの例では、 'message'イベントハンドラーで非同期にイベントを受信します。クライアントから必要なのがzmqからデータを受信することだけである場合次に、あなたのpythonコードは、特別な1トリックポニーとしてコード化されているため、より効率的になります。zmqを使用していない他のイベントをリッスンするような機能を追加する場合は、 pythonコードを書き直すのは複雑です。nodeを使用すると、別のイベントハンドラーを追加するだけで済みます。nodeが単純な例のパフォーマンスを向上させることは決してありません。ただし、動く部分が増えるとプロジェクトがより複雑になるので、Vanilla pythonで記述した場合よりも、ノードに機能を追加正しくする方がはるかに簡単です。ハードウェアにもう少しお金を投じ、読みやすさを向上させ、開発時間/コストを削減したいのです。

1
matthewaveryusa