モデル画像にオブジェクトがあります。モデル画像上のオブジェクトとターゲット画像上のオブジェクトの間の変換(変位、スケール、回転)を計算したいと思います。オブジェクトは2Dとして扱うことができるので、2D変換のみを計算する必要があると仮定したいと思います。
まず、手動で支援したいと思います。ユーザーは、モデル画像の基点を選択してから、ターゲット画像のターゲット点を選択します。ポイントの数はユーザーが定義する必要があります(ただし、最低2〜3ポイント以上)。ポイントが異なる情報を提供する場合、変換は平均化する必要があり、たとえばこれからマッチングの品質を計算できます。
したがって、質問は2セットの点の変換を計算することに関するものですが、画像に対してそれを実行したいので、画像処理タグを追加しました。
特に歓迎されるのは、いくつかのコードまたは擬似コードに関する参照とアドバイスです。
2つのポイントを使用する場合、問題は非常に簡単です。線の回転、縮尺、変位のみを取得する必要がありますが、より多くのポイントを使用して、平均化していくつかの品質係数を計算する方法を説明します。
現在の解決策は:
void transformFnc(std::vector<PointF> basePoints, std::vector<PointF> targetPoints,
PointF& offset, double rotation, double scale)
{
std::vector<Line> basePointsLines;
std::vector<Line> targetPointsLines;
assert(basePoints.size() == targetPoints.size());
int pointsNumber = basePoints.size();
for(int i = 0; i < pointsNumber; i++)
{
for(int j = i + 1; j < pointsNumber; j++)
{
basePointsLines.Push_back(Line(basePoints[i], basePoints[j]));
targetPointsLines.Push_back(Line(targetPoints[i], targetPoints[j]));
}
}
std::vector<double> scalesVector;
std::vector<double> rotationsVector;
double baseCenterX = 0, baseCenterY = 0, targetCenterX = 0, targetCenterY = 0;
for(std::vector<Line>::iterator it = basePointsLines.begin(), i = targetPointsLines.begin();
it != basePointsLines.end(), i != targetPointsLines.end(); it++, i++)
{
scalesVector.Push_back((*i).length()/(*it).length());
baseCenterX += (*it).pointAt(0.5).x();
baseCenterY += (*it).pointAt(0.5).y();
targetCenterX += (*i).pointAt(0.5).x();
targetCenterY += (*i).pointAt(0.5).y();
double rotation;
rotation = (*i).angleTo((*it));
rotationsVector.Push_back(rotation);
}
baseCenterX = baseCenterX / pointsNumber;
baseCenterY = baseCenterY / pointsNumber;
targetCenterX = targetCenterX / pointsNumber;
targetCenterY = targetCenterY / pointsNumber;
offset = PointF(targetCenterX - baseCenterX, targetCenterY - baseCenterY);
scale = sum(scalesVector) / scalesVector.size();
rotation = sum(rotationsVector) / rotationsVector.size();
}
このコードで見つけることができる唯一の最適化は、スケールと回転から、他の値と大きく異なる値を削除することです。
ソリューション提案のコードまたは擬似コードを探しています。一部のコードへの参照でもあります。
これまでのところ、私はそれを知っています:
まず、3x3のアフィン変換行列を使用した単純なアフィン変換で問題を一般化します。
[M11 M12 M13]
[M21 M22 M23]
[M31 M32 M33]
3番目の行は常に[00 1]になることがすでにわかっているので、単純に無視できます。
これで、問題を次の行列方程式として説明できます。
[xp0] [x0 y0 1 0 0 0 ]
[yp0] [0 0 0 x0 y0 1 ] [M11]
[xp1] [x1 y1 1 0 0 0 ] [M12]
[yp1] = [0 0 0 x1 y1 1 ] * [M13]
[xp2] [x2 y2 1 0 0 0 ] [M21]
[yp2] [0 0 0 x2 y2 1 ] [M22]
[xp3] [x3 y3 1 0 0 0 ] [M23]
[yp3] [0 0 0 x3 y3 1 ]
ここで、xpとypは投影された座標であり、xとyは元の座標です。
これを呼びましょう
proj = M * trans
次に、変換に適合する最小二乗法を計算できます。
trans = pinv(M) * proj
ここで、pinvは疑似逆行列です。
これにより、最小二乗の意味で与えられた点に最もよく適合するアフィン変換が得られます。
これで明らかに、せん断、座標反転、および不要な不均一なスケーリングが発生するため、せん断を回避するために何らかの方法でアフィン変換を制限する必要があります。これは非常に簡単であることがわかります。単一のベクトルを使用して、回転(ベクトルの方向)とスケーリング(ベクトルの大きさ)を記述できます。他のベクトルは単純にそれに直交します。これにより、自由度が2つ減少します。
M21 = -M12
M22 = M11
だからに減らす
[xp0] [x0 y0 1 0]
[yp0] [y0 -x0 0 1]
[xp1] [x1 y1 1 0] [M11]
[yp1] = [y1 -x1 0 1] * [M12]
[xp2] [x2 y2 1 0] [M13]
[yp2] [y2 -x2 0 1] [M23]
[xp3] [x3 y3 1 0]
[yp3] [y3 -x3 0 1]
上記の行列方程式を解いた後、M12とM11からM21とM22を計算します。
簡単にするために、入力_x1,...,xn
_と出力_y1,...,yn
_が複素数であると仮定します。
avg(y) - avg(x)
を計算することで平均変位を計算できます。これが完了すると、平均をx
とy
の両方に減算して、0を中心とするようにすることができます。
ここで、回転とスケールを見つけたいと思います。両方を単一の複素数z
として表すことができるため、_x*z
_はy
にできるだけ近くする必要があります。しかし、_x*z
_は[〜#〜] r [〜#〜] -z
の(実際の)座標_(zx,zy)
_の線形関数です。古典的な線形代数を使用してz
を解き、_x*z
_が最小二乗の意味でy
にできるだけ近くなるようにすることができます。
すべてをまとめると、これにより最小二乗の意味で最適な変換が得られます。
変換はアフィン変換であり、3 * 3行列で記述できます。したがって、問題は基本的に、ある点のセットから別のセットへの最小二乗平均平方根誤差のアフィン変換を計算することです。
この問題は、一般的な計算幾何学の文献で非常に簡単に解決されます。良い古典的な本はこれです: http://www.robots.ox.ac.uk/~vgg/hzbook/hzbook1.html (広告なし、それはほとんどの人にとって単なる参考書です) 。 2Dおよび3Dジオメトリに関するすべての情報があります。 「アフィン変換LMSE」のような単語をグーグルで検索すると、情報やコードが表示されます。
さらに、RANSACなどの他のタイプのアルゴリズム(堅牢なアルゴリズム)を使用することもできます。アプリケーションによっては、その方向にさらに進むことが興味深い場合があります。
詳細 Matlabのシンプルで明確なコード 変換を行うことができます。
そして より複雑なC++コード(VXL libを使用) pythonおよびmatlabラッパーが含まれています。
または、ノイズに対してロバストな修正ICP(反復最接近点)アルゴリズムを使用することもできます。