web-dev-qa-db-ja.com

Swift 4：顔のランドマークポイントからios11ビジョンフレームワークで顔マップを作成する方法

IOS 11ビジョンフレームワークを使用して、顔のランドマークポイントをリアルタイムで生成しています。顔のランドマークポイントを取得し、カメラのレイヤーを顔のランドマークポイントのUIBezierPathでオーバーレイできます。しかし、右下の写真のようなものを入手したいと思います。現在、左の図のようなものがあり、ポイントをループして中間点を追加してみましたが、ポイントからこれらの三角形をすべて生成する方法がわかりません。左側のポイントから右側のマップを生成するにはどうすればよいですか？

私が持っているすべてのポイントを使用できるかどうかはわかりません。あまり役に立ちませんが、顔全体のバウンディングボックスからのポイントも持っています。最後に、openCVなど、必要なすべてのポイントを認識できるフレームワークはありますか。ありがとう！

face_map

これが https://github.com/DroidsOnRoids/VisionFaceDetection から使用してきたコードです：

func detectLandmarks(on image: CIImage) {
    try? faceLandmarksDetectionRequest.perform([faceLandmarks], on: image)
    if let landmarksResults = faceLandmarks.results as? [VNFaceObservation] {

        for observation in landmarksResults {

            DispatchQueue.main.async {
                if let boundingBox = self.faceLandmarks.inputFaceObservations?.first?.boundingBox {
                    let faceBoundingBox = boundingBox.scaled(to: self.view.bounds.size)
                    //different types of landmarks



                    let faceContour = observation.landmarks?.faceContour
                    self.convertPointsForFace(faceContour, faceBoundingBox)

                    let leftEye = observation.landmarks?.leftEye
                    self.convertPointsForFace(leftEye, faceBoundingBox)

                    let rightEye = observation.landmarks?.rightEye
                    self.convertPointsForFace(rightEye, faceBoundingBox)

                    let leftPupil = observation.landmarks?.leftPupil
                    self.convertPointsForFace(leftPupil, faceBoundingBox)

                    let rightPupil = observation.landmarks?.rightPupil
                    self.convertPointsForFace(rightPupil, faceBoundingBox)

                    let nose = observation.landmarks?.nose
                    self.convertPointsForFace(nose, faceBoundingBox)

                    let lips = observation.landmarks?.innerLips
                    self.convertPointsForFace(lips, faceBoundingBox)

                    let leftEyebrow = observation.landmarks?.leftEyebrow
                    self.convertPointsForFace(leftEyebrow, faceBoundingBox)

                    let rightEyebrow = observation.landmarks?.rightEyebrow
                    self.convertPointsForFace(rightEyebrow, faceBoundingBox)

                    let noseCrest = observation.landmarks?.noseCrest
                    self.convertPointsForFace(noseCrest, faceBoundingBox)

                    let outerLips = observation.landmarks?.outerLips
                    self.convertPointsForFace(outerLips, faceBoundingBox)
                }
            }
        }
    }

}

func convertPointsForFace(_ landmark: VNFaceLandmarkRegion2D?, _ boundingBox: CGRect) {
    if let points = landmark?.points, let count = landmark?.pointCount {
        let convertedPoints = convert(points, with: count)



        let faceLandmarkPoints = convertedPoints.map { (point: (x: CGFloat, y: CGFloat)) -> (x: CGFloat, y: CGFloat) in
            let pointX = point.x * boundingBox.width + boundingBox.Origin.x
            let pointY = point.y * boundingBox.height + boundingBox.Origin.y

            return (x: pointX, y: pointY)
        }

        DispatchQueue.main.async {
            self.draw(points: faceLandmarkPoints)
        }
    }
}


func draw(points: [(x: CGFloat, y: CGFloat)]) {
    let newLayer = CAShapeLayer()
    newLayer.strokeColor = UIColor.blue.cgColor
    newLayer.lineWidth = 4.0

    let path = UIBezierPath()
    path.move(to: CGPoint(x: points[0].x, y: points[0].y))
    for i in 0..<points.count - 1 {
        let point = CGPoint(x: points[i].x, y: points[i].y)
        path.addLine(to: point)
        path.move(to: point)
    }
    path.addLine(to: CGPoint(x: points[0].x, y: points[0].y))
    newLayer.path = path.cgPath

    shapeLayer.addSublayer(newLayer)
}
iosswiftimage-processingswift4
11
Ali

うまくいく解決策を見つけてしまいました。 https://github.com/AlexLittlejohn/DelaunaySwift でdelaunay三角形分割を使用し、ビジョンフレームワークの顔のランドマーク検出リクエストを介して生成されたポイントで動作するように修正しました。これはコードスニペットでは簡単に説明できないため、解決策を示すgithubリポジトリを以下にリンクしました。ビジョンフレームワークは眉毛からポイントを取得するだけなので、これは額からポイントを取得しないことに注意してください。

https://github.com/ahashim1/Face

5
Ali

右側の画像で必要なのは Candide メッシュです。これらのポイントをメッシュにマップする必要がありますが、これで完了です。コメントで議論されたルートに行く必要はないと思います。

P.S有名なフィルターアプリ（キャスパーのことを思い出させます）のAPKコンテンツを調べているときにCandideを見つけました-まだ自分で試す時間はありませんでした。

0
Faraz Hassan