web-dev-qa-db-ja.com

VisionboundingBoxをVNFaceObservationからrectに変換して画像に描画します

新しいVNDetectFaceRectanglesRequestAPIのVisionを使用して、画像上の顔を検出しようとしています。次に、検出された各顔に赤い長方形を描画します。

しかし、boundingBoxをVNFaceObservationからCGRectに変換する際に問題が発生します。私の唯一の問題はy Originのようです。

これが私のコードです：

let request=VNDetectFaceRectanglesRequest{request, error in
    var final_image=UIImage(ciImage: image)
    if let results=request.results as? [VNFaceObservation]{
        for face_obs in results{
          UIGraphicsBeginImageContextWithOptions(final_image.size, false, 1.0)
          final_image.draw(in: CGRect(x: 0, y: 0, width: final_image.size.width, height: final_image.size.height))

          var rect=face_obs.boundingBox
/*/*/*/ RESULT 2 is when I uncomment this line to "flip" the y  /*/*/*/
          //rect.Origin.y=1-rect.Origin.y
          let conv_rect=CGRect(x: rect.Origin.x*final_image.size.width, y: rect.Origin.y*final_image.size.height, width: rect.width*final_image.size.width, height: rect.height*final_image.size.height)

          let c=UIGraphicsGetCurrentContext()!
          c.setStrokeColor(UIColor.red.cgColor)
          c.setLineWidth(0.01*final_image.size.width)
          c.stroke(conv_rect)

          let result=UIGraphicsGetImageFromCurrentImageContext()
          UIGraphicsEndImageContext()

          final_image=result!
        }
    }
    DispatchQueue.main.async{
        self.image_view.image=final_image
    }
}


let handler=VNImageRequestHandler(ciImage: image)
DispatchQueue.global(qos: .userInteractive).async{
    do{
        try handler.perform([request])
    }catch{
        print(error)
    }
}

これがこれまでの結果です。

結果1（yを反転せずに） Result 1

結果2（yを反転） Result 2

解決

私は自分でその直腸の解決策を見つけました。

let rect=face_obs.boundingBox
let x=rect.Origin.x*final_image.size.width
let w=rect.width*final_image.size.width
let h=rect.height*final_image.size.height
let y=final_image.size.height*(1-rect.Origin.y)-h
let conv_rect=CGRect(x: x, y: y, width: w, height: h)

ただし、@ wei-jayの回答はより上品なので、良い回答としてマークしました。

iosswiftcomputer-visionface-detectionvision-api
7
Marie Dm

画像に応じてトランジションとスケーリングを行う必要があります。 例

func drawVisionRequestResults(_ results: [VNFaceObservation]) {
    print("face count = \(results.count) ")
    previewView.removeMask()

    let transform = CGAffineTransform(scaleX: 1, y: -1).translatedBy(x: 0, y: -self.view.frame.height)

    let translate = CGAffineTransform.identity.scaledBy(x: self.view.frame.width, y: self.view.frame.height)

    for face in results {
        // The coordinates are normalized to the dimensions of the processed image, with the Origin at the image's lower-left corner.
        let facebounds = face.boundingBox.applying(translate).applying(transform)
        previewView.drawLayer(in: facebounds)
    }
}
6
Willjay

あなたのためにそれを行う組み込みメソッドがあります。正規化された形式から変換するには、次を使用します。

func VNImageRectForNormalizedRect(_ normalizedRect: CGRect, _ imageWidth: Int, _ imageHeight: Int) -> CGRect

およびその逆：

func VNNormalizedRectForImageRect(_ imageRect: CGRect, _ imageWidth: Int, _ imageHeight: Int) -> CGRect

ポイントの同様の方法：

func VNNormalizedFaceBoundingBoxPointForLandmarkPoint(_ faceLandmarkPoint: vector_float2, _ faceBoundingBox: CGRect, _ imageWidth: Int, _ imageHeight: Int) -> CGPoint
func VNImagePointForNormalizedPoint(_ normalizedPoint: CGPoint, _ imageWidth: Int, _ imageHeight: Int) -> CGPoint
7
ethamine

私は複数の方法を試しましたが、これが私にとって最も効果的な方法です。

dispatch_async(dispatch_get_main_queue(), ^{
    VNDetectedObjectObservation * newObservation = request.results.firstObject;
    if (newObservation) {
        self.lastObservation = newObservation;
        CGRect transformedRect = newObservation.boundingBox;
        CGRect convertedRect = [self.previewLayer rectForMetadataOutputRectOfInterest:transformedRect];
        self.highlightView.frame = convertedRect;
    }
});
4
Vibhor Goyal

var rect = CGRect() rect.size.height = viewSize.height * boundingBox.width rect.size.width = viewSize.width * boundingBox.height rect.Origin.x = boundingBox.Origin.y * viewSize.width rect.Origin.y = boundingBox.Origin.x * viewSize.height

3
Lee Irvine