web-dev-qa-db-ja.com

OpenCVwarpPerspectiveを使用するときに画像全体を表示する方法

ここに2つのテスト画像があります。私の質問は、画像をトリミングせずに、最初の画像の正方形を2番目の画像の四角形にマッピングする方法です。

画像1： image 1

画像2： image 2

これがopenCVwarpPerspective関数を使用した現在のコードです。

import cv2
import numpy as np

img1_square_corners = np.float32([[253,211], [563,211], [563,519],[253,519]])
img2_quad_corners = np.float32([[234,197], [520,169], [715,483], [81,472]])

h, mask = cv2.findHomography(img1_square_corners, img2_quad_corners)
im = cv2.imread("image1.png")
out = cv2.warpPerspective(im, h, (800,800))
cv2.imwrite("result.png", out)

結果： result

ご覧のとおり、warpPerspective関数のdsize =（800,800）パラメーターが原因で、画像1の全体像を取得できません。dsizeを調整すると、正方形が正しくマップされません。画像1の全体像を取得できるように出力画像のサイズを変更する方法はありますか？

pythonimage-processingopencvnumpycomputer-vision
18
Rafiq Rahim

はい。ただし、出力画像が非常に大きい可能性があることに注意してください。私はすぐに次のPythonコードを書きましたが、3000 x 3000の画像でも出力に適合しませんでしたが、変換のために大きすぎます。これが私のコードですが、私は願っていますそれはあなたに役立つでしょう。

import cv2
import numpy as np
import cv           #the old cv interface

img1_square_corners = np.float32([[253,211], [563,211], [563,519],[253,519]])
img2_quad_corners = np.float32([[234,197], [520,169], [715,483], [81,472]])

h, mask = cv2.findHomography(img1_square_corners, img2_quad_corners)
im = cv2.imread("image1.png")

ここで出力画像を作成します。例として（3000、3000）を使用しました。

out_2 = cv.fromarray(np.zeros((3000,3000,3),np.uint8))

古いcvインターフェイスを使用して、出力に直接書き込んだので、トリミングされません。 cv2インターフェースを使用してこれを試しましたが、何らかの理由で機能しませんでした...誰かがそれに光を当てることができるでしょうか？

cv.WarpPerspective(cv.fromarray(im), out_2, cv.fromarray(h))
cv.ShowImage("test", out_2)
cv.SaveImage("result.png", out_2)
cv2.waitKey()

とにかく、これはあなたの元の画像1を含む非常に大きな画像を与えます1、歪んでいます。出力画像を十分に大きく指定すると、画像全体が表示されます。 （これは確かに非常に大きいかもしれません！）

このコードがお役に立てば幸いです。

8
hjweide

私の解決策は、結果の画像サイズを計算してから、変換を行うことです。

def warpTwoImages(img1, img2, H):
    '''warp img2 to img1 with homograph H'''
    h1,w1 = img1.shape[:2]
    h2,w2 = img2.shape[:2]
    pts1 = float32([[0,0],[0,h1],[w1,h1],[w1,0]]).reshape(-1,1,2)
    pts2 = float32([[0,0],[0,h2],[w2,h2],[w2,0]]).reshape(-1,1,2)
    pts2_ = cv2.perspectiveTransform(pts2, H)
    pts = concatenate((pts1, pts2_), axis=0)
    [xmin, ymin] = int32(pts.min(axis=0).ravel() - 0.5)
    [xmax, ymax] = int32(pts.max(axis=0).ravel() + 0.5)
    t = [-xmin,-ymin]
    Ht = array([[1,0,t[0]],[0,1,t[1]],[0,0,1]]) # translate

    result = cv2.warpPerspective(img2, Ht.dot(H), (xmax-xmin, ymax-ymin))
    result[t[1]:h1+t[1],t[0]:w1+t[0]] = img1
    return result

dst_pts = float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2)
src_pts = float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2)
M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

result = warpTwoImages(img1_color, img2_color, M)

enter image description here

34
arcticfox

まず、前のソリューションに従って、ホモグラフィ行列を計算します。ホモグラフィマトリックスを取得したら、ホモグラフィマトリックスに対して画像をワープする必要があります。最後に、歪んだ画像をマージします。

ここでは、歪んだ画像をマージするために使用できる別のアイデアを共有します。 （以前の回答では、オーバーレイするインデックスの範囲を使用しています。ここでは、ROIのマスキングを使用しています）

関心領域（ROI）と画像を黒でマスクします。次に、ROIを使用して画像を追加します。 （ OpenCVビットマスクチュートリアル を参照）

def copyOver(source, destination):
    result_grey = cv2.cvtColor(source, cv2.COLOR_BGR2GRAY)
    ret, mask = cv2.threshold(result_grey, 10, 255, cv2.THRESH_BINARY)
    mask_inv = cv2.bitwise_not(mask)
    roi = cv2.bitwise_and(source, source, mask=mask)
    im2 = cv2.bitwise_and(destination, destination, mask=mask_inv)
    result = cv2.add(im2, roi)
    return result


warpedImageB = cv2.warpPerspective(imageB, H, (imageA.shape[1], imageA.shape[0]))
result = copyOver(imageA, warpedImageB)

最初の画像：

First

2番目の画像：

Second

ステッチ画像： Stitched

0
Yeo