3D再構築-2D画像から3Dモデルを作成する方法
カメラで写真を撮ると、家からのスケールモデルなど、カメラからオブジェクトまでの距離がわかります操作可能な3Dモデルに変換したいですだから家のさまざまな部分についてコメントできます。
座って複数の写真、ラベリングの方向、距離を撮影することを考えた場合、これを行う方法を理解できるはずですが、私は誰かがもっと説明するのに役立つ紙を持っているかどうかを尋ねると思いました。
私が最良のアプローチを探しているので、あなたが説明する言語は重要ではありません。
現在、家を表示することを検討しています。その後、ユーザーはカメラからモデルのその部分の上部までの距離など、高さの支援を行うことができます。これが十分であれば、高さの計算を開始できます残り、特にトップダウン画像がある場合は、4つの側面の角度から写真を撮って、相対的な高さを計算します。
それから、私が期待するモデルのさまざまな部分を分離するのを助けるために、部分は色が異なる必要があります。
研究は大きく進歩しており、最近では2D画像から非常に見栄えの良い3D形状を取得することが可能です。たとえば、「 深層生成ネットワークを使用したマルチビューデプスマップとシルエットのモデリングによる3D形状の合成 」というタイトルの最近の研究では、2D画像から3D形状を取得する問題を解決する大きな一歩を踏み出しました。私たちの仕事では、2Dから3Dに直接移動し、適切な近似3D再構成を取得できるだけでなく、3D形状の分布を効率的な方法で学習し、3D形状を生成/合成できることを示します。以下は、単一のシルエットまたはデプスマップ（左）からでも3D再構築を実行できることを示す作業の画像です。グラウンドトゥルースの3D形状が右側に表示されます。
私たちが取ったアプローチには、認知科学や脳の働きに関連したいくつかの貢献があります。構築したモデルは、1つのカテゴリのみに特定するのではなく、すべての形状カテゴリのパラメータを共有します。また、出力として3D形状を生成するときに、一貫した表現を取得し、入力ビューの不確実性を考慮します。したがって、非常に曖昧な入力であっても、自然に意味のある結果を与えることができます。論文への引用を見ると、2D画像から3D形状に移行するという点で、さらに多くの進歩が見られます。
前述のように、問題はveryであり、多くの場合 マルチビューオブジェクト再構成 とも呼ばれます。通常、連続画像の各ペアのステレオビュー再構成問題を解決することによりアプローチします。
ステレオ再構成を実行するには、物理ポイントの目に見えるオーバーラップが十分にある画像のペアを取得する必要があります。 対応する点 を見つける必要があります。これにより、三角形分割を使用して点の3D座標を見つけることができます。
エピポーラジオメトリ
通常、ステレオ再構築は、最初にカメラのセットアップを調整することで行われるため、 epipolar geometry の理論を使用して画像を修正できます。これにより、対応するポイントの検索と最終的な三角測量の計算が簡単になります。
あなたが持っている場合：
- カメラの内部パラメーター （ カメラのキャリブレーション が必要）、
- カメラの位置と回転（ 外部パラメーター ）、および
- 2枚の写真で既知の位置に一致する8つ以上の物理ポイント（ 8ポイントアルゴリズム を使用する場合）
行列理論のみを使用して 基本 および 必須行列 を計算し、これらを使用して画像を修正できます。これには、 同次座標 の 座標投影 と、 ピンホールカメラモデル および カメラ行列 。
カメラパラメータを必要とせず、未知のカメラ設定で機能するメソッドが必要な場合は、おそらく 未キャリブレーションステレオ再構築 のメソッドを調べる必要があります。
対応問題
対応するポイントを見つけることは、同じ明るさまたは色のポイントを探すか、テクスチャパターンまたはその他の機能を使用して画像のペアで同じポイントを識別する必要がある難しい部分です。このための手法は、各ポイントの周りの小さな領域で最適な一致を探すことによりlocally、または画像を考慮することによりglobally全体として。
すでに fundamental matrix を持っている場合、2つの画像の対応する点が（理論上）線に拘束されるように画像を修正できます。これにより、より高速なローカルテクニックを使用できます。
現在、通信の問題を解決するための理想的な手法はまだありませんが、可能なアプローチは次のカテゴリに分類されます。
- 手動選択：マッチングポイントを人が手で選択するようにします。
- カスタムマーカー：マーカーを配置するか、簡単に識別できる特定のパターン/色を使用します。
- 平方差の合計：ポイント周辺の領域を取得し、他の画像で最も近い一致する領域全体を見つけます。
- グラフカット：グラフ理論を使用した最適化に基づくグローバルな最適化手法。
特定の実装では、 Google Scholar を使用して現在の文献を検索できます。以下は、さまざまな手法を比較した非常に引用された論文の1つです。 高密度2フレームステレオ対応アルゴリズムの分類法と評価 。
マルチビュー再構成
対応するポイントを取得したら、三角測量の計算にエピポーラジオメトリ理論を使用して、ポイントの3D座標を見つけることができます。
この完全なステレオ再構成は、連続する画像の各ペアに対して繰り返されます（画像の順序が必要であるか、少なくともどの画像に多くの重複点があるかを知っている必要があることを意味します）。各ペアについて、異なる基本マトリックスを計算します。
もちろん、これらの各ステップでのノイズや不正確さにより、よりグローバルな方法で問題を解決する方法を検討する必要があります。たとえば、オブジェクトの周りで撮影されてループを形成する一連の画像がある場合、これは バンドル調整 のようなものを使用して、以前のステップの精度を改善するために使用できる追加の制約を提供します。
ご覧のとおり、ステレオとマルチビューの両方の再構成は、解決された問題にはほど遠く、現在も活発に研究されています。自動化された方法でやりたくないほど、問題はより明確になりますが、これらの場合でも、始めるにはかなりの理論が必要です。
代替案
やりたいことの制約内であれば、通常のカメラだけを使用するのではなく、専用のハードウェアセンサー（ XBoxのKinect など）を検討することをお勧めします。これらのセンサーは、構造化された光、飛行時間、または他の範囲のイメージング技術を使用して、独自のカメラからのカラーデータと組み合わせることができる深度画像を生成します。それらは実際にシングルビュー再構成の問題を解決し、多くの場合、複数のビューをステッチ/結合するためのライブラリとツールを含みます。
エピポーラジオメトリリファレンス
私の知識は実際にはほとんどの理論について非常に薄いので、できる限りの方法で（関連性の高い順に）役に立つと思われる参考文献をさらに提供することです。
- PDF Multiple View Geometry の章にクリティカル理論のほとんどが含まれています。実際に教科書 Multiple View Geometry in Computer Vision また、非常に役立つはずです（サンプルの章が利用可能 こちら ）。
- キャリブレーションされていないステレオ再構成 のプロジェクトを説明するページがあります。これには、役に立つ可能性のあるソースコードが含まれているようです。多くの特徴検出技術の1つを使用して、自動化された方法でマッチングポイントを見つけます。プロセスのこの部分も自動化する場合は、 SIFT機能の検出 は一般的に優れた非リアルタイムテクニックと見なされます（非常に遅いため）。
- 複数のキャリブレーションされていないビューからのシーンの再構成 に関するペーパー。
- 複数の画像からの3D再構成の方法 のスライドショー（最後の方のスライドの下にいくつかの参照があります）。
- 異なるマルチビューステレオ再構成アルゴリズムを比較した論文は、 here にあります。 「キャリブレーションされたビューから高密度オブジェクトモデルを再構築する」アルゴリズムに限定されます。
- 以下に、複数の画像を撮影するステレオカメラがある場合の詳細を説明する論文を示します。 動的な未較正ステレオヘッドによる堅牢なメトリック再構築に向けて 。次に、カメラを自己較正する方法を見つけます。
これらのすべてがどれほど役立つかはわかりませんが、さらに多くのリソースを見つけるのに十分な役立つ用語と参考文献が含まれていることを願っています。
この問題は Photogrammetry として知られています。
Googleは無限の参照を提供しますが、自分でロールバックしたい場合はveryの難しい問題であることに注意してください。
The Deadalus Project をご覧ください。そのWebサイトにはソリューションに関する説明的な情報を含むギャラリーはありませんが、いくつかの論文と作業方法に関する情報を掲載しています。
私はプロジェクトの主な研究者の一人（ロジャー・ハボルド）からの講義を見ましたが、画像の結果は非常に素晴らしいです！とはいえ、複雑で長い問題です。 3Dデータの近似値を取得するために考慮すべき多くのトリッキーな詳細があります。たとえば、壁面からの3D情報を取得します。そのためのヒューリスティックは次のとおりです。シーンの通常の照明で写真を撮り、フルフラッシュがアクティブな状態で同じ位置で写真を撮り直し、両方の画像を減算し、事前に取得したフラッシュキャリブレーション画像で結果を除算し、この新しい結果にボックスフィルターを適用し、後処理して深度値全体を推定しますプロセスについて詳しく説明します このペーパーでは （プロジェクトのWebサイトでも投稿/参照されています）
Google Sketchup （無料）には 写真照合ツール があり、写真を撮って、簡単にモデリングできるように視点を合わせることができます。
編集：独自のソリューションの開発に興味があるようです。単一のインスタンスで画像の3Dモデルを取得しようとしていると思いました。この回答が役に立たない場合は、謝罪します。
画像の2Dスタックから3Dボリュームを構築しようとしている場合、これが役立つことを願っています!! 3Dビューアプラグインに付属するImageJ Fijiなどのオープンソースツールを使用できます。