web-dev-qa-db-ja.com

回転顔検出

画像平面で回転した顔を検出するためのライブラリはありますか？または、opencvで直立した顔検出にカスケードを使用してそれを行う方法はありますか？

opencvface-detection
28
Mark Scully

これは私がPython cv2で書いた簡単なものです

これは最も効率的な方法ではなく、etarionが提案する素朴な方法を使用しますが、通常の頭の傾きにはかなりうまく機能します（-40から40の頭の傾きを検出します。これは、頭を傾けることができるのとほぼ同じです。直立したまま。

import cv2
from math import sin, cos, radians

camera =  cv2.VideoCapture(0)
face = cv2.CascadeClassifier("haarcascade_frontalface_alt2.xml")

settings = {
    'scaleFactor': 1.3, 
    'minNeighbors': 3, 
    'minSize': (50, 50), 
    'flags': cv2.cv.CV_HAAR_FIND_BIGGEST_OBJECT|cv2.cv.CV_HAAR_DO_ROUGH_SEARCH
}

def rotate_image(image, angle):
    if angle == 0: return image
    height, width = image.shape[:2]
    rot_mat = cv2.getRotationMatrix2D((width/2, height/2), angle, 0.9)
    result = cv2.warpAffine(image, rot_mat, (width, height), flags=cv2.INTER_LINEAR)
    return result

def rotate_point(pos, img, angle):
    if angle == 0: return pos
    x = pos[0] - img.shape[1]*0.4
    y = pos[1] - img.shape[0]*0.4
    newx = x*cos(radians(angle)) + y*sin(radians(angle)) + img.shape[1]*0.4
    newy = -x*sin(radians(angle)) + y*cos(radians(angle)) + img.shape[0]*0.4
    return int(newx), int(newy), pos[2], pos[3]

while True:
    ret, img = camera.read()

    for angle in [0, -25, 25]:
        rimg = rotate_image(img, angle)
        detected = face.detectMultiScale(rimg, **settings)
        if len(detected):
            detected = [rotate_point(detected[-1], img, -angle)]
            break

    # Make a copy as we don't want to draw on the original image:
    for x, y, w, h in detected[-1:]:
        cv2.rectangle(img, (x, y), (x+w, y+h), (255,0,0), 2)

    cv2.imshow('facedetect', img)

    if cv2.waitKey(5) != -1:
        break

cv2.destroyWindow("facedetect")
9
Ehsan Kia

個人的には図書館のことは知りません。しかし、私が言えることは、目の検出を使用する Haar Cascade 、そして目の間に線を引くことです。次に、atan関数を使用して、頭が回転する角度を見つけることができます。 （頭を回転させていないときに、人が同じ水平レベルに両目を持っていると仮定します）

deg = atan( (leftEye.y - rightEye.y) / (leftEye.x - rightEye.x) )

この角度を取得したら、画像を負のdeg度回転させると、HaarCascadesを使用して検出できる顔ができあがります。

3
Tushar Aggarwal

素朴な方法：

  • 角度のリストを生成します（たとえば、10度ステップで-170から180まで）
  • リスト内の角度ごとにn：
    • 画像をn度回転します
    • 回転した画像で顔検出器を実行する
    • 元の画像で検出された顔の位置を計算します（回転を元に戻します）
  • すべての角度から結合された結果に対して非最大抑制を実行します（隣接する角度から複数の検出が得られる可能性があります）
2
etarion

カラーヒストグラムに基づく顔検出の方法は、顔の向きとは無関係です。

1
Ross

私は、正面以外の画像の顔検出の同じ問題に取り組んできました。マルチタスクCNNを使用してみてください。これは、顔の検出と位置合わせに最適なソリューションです。さまざまなポーズ、照明、オクルージョンなどの問題に対処できます。

論文は リンク で入手できます。コードはGitHubの Link で入手できます。 python実装を使用したところ、結果は素晴らしいです。ただし、画像に顔がたくさんある場合、コードは少し遅くなります。

OpenCVに固執したい場合でも、顔検出用の新しいディープラーニングモデルがOpenCVに追加されました。結果はマルチタスクCNNほど良くありません。 pyimagesearchに顔検出用のOpenCVディープラーニングモデルの実装があります リンク

1
archit522

このリポジトリは、オブジェクトを回転した境界ボックスとして検出できます： https://github.com/NVIDIA/retinanet-examples

「人間の顔」クラスを含む画像を-30〜30度ランダムに回転させることにより、Open Imagesからデータセットを作成し、このネットワークをトレーニングしてそれらの顔を検出できます。

0
jmsinusa

制約AAM、ASMメソッドでbag of words/bag offeaturesメソッドを使用できます。しかし、それらはまた、最適な解がグローバルな最大値に収束しないようにすることができます。

また、haar-like-featuresは単なる機能のコレクションであり、回転不変の機能を使用して、それをadaboostclassiferに入れることができます。

0
mrgloom

mtcnnはうまく機能します。顔が90度または180度に非常に近い場合にのみ問題があるようです。 SO通常の検出に失敗した場合は、画像を45度回転させてから、もう一度やり直してください。画像に顔がある場合は、これで検出されます。

しかし、私は興味がありますが、顔が正確に90度回転または反転（180度回転）されていると、なぜmtcnnが失敗するのですか？

0
user1953366