web-dev-qa-db-ja.com

rtspストリームを使用するとTensorflowオブジェクトの検出が遅くなる

私はここの例に従いました： https://www.youtube.com/watch?v=MoMjIwGSFVQ で、オブジェクト検出をWebカメラで機能させています。

しかし、ストリーミングしていると思われるIPカメラからのrtspストリームを使用するようにWebカメラを切り替えましたH264そして、ビデオに約30秒の遅れがあり、ビデオが時々非常に停止して開始することに気づきました。

ここにpythonメイン処理を行うコードがあります：

import cv2
cap = cv2.VideoCapture("rtsp://192.168.200.1:5544/stream1")

# Running the tensorflow session
with detection_graph.as_default():
  with tf.Session(graph=detection_graph) as sess:
   ret = True
   while (ret):
      ret,image_np = cap.read()

      # Expand dimensions since the model expects images to have shape: [1, None, None, 3]
      image_np_expanded = np.expand_dims(image_np, axis=0)
      image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')

      # Each box represents a part of the image where a particular object was detected.
      boxes = detection_graph.get_tensor_by_name('detection_boxes:0')

      # Each score represent how level of confidence for each of the objects.
      # Score is shown on the result image, together with the class label.
      scores = detection_graph.get_tensor_by_name('detection_scores:0')
      classes = detection_graph.get_tensor_by_name('detection_classes:0')
      num_detections = detection_graph.get_tensor_by_name('num_detections:0')

      # Actual detection.
      (boxes, scores, classes, num_detections) = sess.run(
      [boxes, scores, classes, num_detections],
          feed_dict={image_tensor: image_np_expanded})

      # Visualization of the results of a detection.
      vis_util.visualize_boxes_and_labels_on_image_array(
          image_np,
          np.squeeze(boxes),
          np.squeeze(classes).astype(np.int32),
          np.squeeze(scores),
          category_index,
          use_normalized_coordinates=True,
          line_thickness=8)

#      plt.figure(figsize=IMAGE_SIZE)
#      plt.imshow(image_np)
      cv2.imshow('image',cv2.resize(image_np,(1280,960)))
      if cv2.waitKey(25) & 0xFF == ord('q'):
          cv2.destroyAllWindows()
          cap.release()
          break

pythonとtensorflowは初めてです。rtspストリームに対処するためにこのコードを変更する必要がありますか？私のPCにはGPUカードがありません。

pythonopencvtensorflow
13
Harry Boy

GPUがないと、Tensorflowは高fpsで高品質のフレームを処理できません。私のマシンで640 * 480フレームを処理するには、ほぼ0.2秒かかりました。したがって、1秒あたり約5フレームを処理できます。

コードをリアルタイムで実行するには2つの方法があります。

  • フレームの解像度を下げる
  • Fpsを下げる

コード

cap = cv2.VideoCapture("rtsp://192.168.200.1:5544/stream1")
cap.set(3,640) #set frame width
cap.set(4,480) #set frame height
cap.set(cv2.cv.CV_CAP_PROP_FPS, 5) #adjusting fps to 5

注：Tensorflowオブジェクトの検出は、低解像度でも十分に機能します。

GPUのパフォーマンスを体験するには、 floydhub が無料のGPUサービスを提供します（時間限定）。コードをアップロードしてfloydhubで実行し、パフォーマンスを測定できます。 GPUはCPUの約35倍高速であることがわかりました。

6
Sreeragh A R

Opencvのread（）関数は、USB WebカメラとIPカメラで動作が異なります。

最新のフレームは読み取れませんが、ipcamerasで実行すると最も古い（次の）フレームを読み取ります。

ループ内のオブジェクト検出の推論は時間を浪費するため、read（）はすぐに遅れを取り、opencvバッファー内の最も古い使用可能なフレームを読み取っています。

解決策は、フレームを読み取り、キューを満たすカメラのスレッドを開始することです。次に、別のスレッドで、このキューからフレームを読み取り、それらに対してオブジェクト検出推論を実行します。

2
PeterVennerstrom

1080p @ 30fpsがWebカメラからは正常に機能するが、RTSPでは機能しない場合は、RTSPストリームのデコードの余分なオーバーヘッドがCPUに要求しすぎている可能性があります。求めている両方のタスクを同時に実行するのに問題があります。可能性は低いようですが、メモリがボトルネックになっている可能性もあります。

多くのIntel CPUには、ビデオをネイティブにデコードできるGPUが統合されています。ただし、特定の条件下では、特定のソフトウェアでは、ネイティブデコードの選択CPUが大幅に（約30秒程度）遅れる傾向があることに気付きました。それはここで遭遇している問題かもしれません。同じ品質のハードウェアを備えていない友人のコンピュータでこのソフトウェアを試してみる価値はあります。また、最新世代のIntel CPUではこの問題を見たことがないので、同じ価格帯の新しいハードウェアでテストすることもできます。

1
Zenexer