web-dev-qa-db-ja.com

コンテンツアウェアフィルはどのように機能しますか？

Photoshopの次のバージョンには、コンテンツ対応の塗りつぶしと呼ばれる機能があります。

この機能は、周囲の画像に基づいて選択した画像を塗りつぶします。周囲の画像とシームレスにしながら、茂みや雲を生成できるようになります。

私が話しているPhotoshop機能のプレビューについては、 http://www.youtube.com/watch?v=NH0aEp1oDOI を参照してください。

私の質問は：この機能はアルゴリズム的にどのように機能しますか？

algorithmgraphicsimage-processingartificial-intelligencephotoshop
29
CiscoIPPhone

私は前述のPatchMatchペーパーの共著者であり、PhotoshopのオリジナルのContent-Aware Fill機能の開発を主導し、Creative TechnologiesLabのIvanCaveroBelaundeとEliShechtman、PhotoshopのJeffChienを率いました。チーム。

PhotoshopのContent-AwareFillは、PatchMatchペーパーで説明されているアルゴリズムの高度に最適化されたマルチスレッドのバリエーションと、「SpaceTimeVideoCompletion」と呼ばれる古い方法を使用します。両方の論文は、この機能の次のテクノロジーページで引用されています。

http://www.Adobe.com/technology/projects/content-aware-fill.html

私たちの詳細については、AdobeResearchのWebページをご覧ください。

34
danbgoldman

小さな穴の場合、領域を囲む同様のテクスチャのパッチをつかんで埋めていると思います。これは、「 PatchMatch：構造画像編集用のランダム化された対応アルゴリズム "」というタイトルの論文で説明されています。 Connelly Barnesとその他のSIGGRAPH2009。より大きな穴については、「 数百万の写真を使用したシーンの完成 」で説明されているように、同様のグローバル統計またはテクスチャを持つ画像の大規模なデータベースを活用できます。もし彼らがどういうわけか2つを融合させることができれば、それはビデオのように機能するはずだと思います。

13
Hao Wooi Lim

[〜＃〜] gimp [〜＃〜] には、非常に長い間非常によく似たアルゴリズムがあります。それは resynthesizer と呼ばれ、おそらくそのソースを見つけることができるはずです（多分 プロジェクトサイト ）

[〜＃〜]編集[〜＃〜]
buntuリポジトリ にもソースがあります
そしてここでは、GIMPで同じ画像を処理しているのを見ることができます： http://www.youtube.com/watch?v=0AoobQQBeVc&feature=related

8
Gacek

まあ、彼らは明白な理由で言うつもりはありません。この技法の一般的な名前は「修復」です。これを調べることができます。

具体的には、CriminisiがMicrosoftにいる間に何をしたかを見ると http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.67.9407 そしてTodorGeorgievが現在Adobeで何をしているのか http://www.tgeorgiev.net/Inpainting.html 、あなたは非常に良い推測をすることができるでしょう。 90％の推測だと思いますが、これで十分でしょう。

4
AVB

私も同様の問題に取り組んでいます。私が読んだものから、彼らは一般的に「PatchMatch」または「ノンパラメトリックパッチサンプリング」を使用しています。

PatchMatch：構造画像編集のためのランダム化された対応アルゴリズム

2
Ross

一般的なアプローチはシームカービングと呼ばれます。 Ariel Shamirのグループは、SIGGRAPH 2007で発表された、ここでの独創的な作業を担当しています。参照： http://www.faculty.idc.ac.il/arik/site/subject-seam-carve.asp

0
nav

推測として（そしてそれがすべてです）、画像の周波数分析（フーリエ変換のようなもの）を行うことを期待します。選択範囲の端にある画像のみを見て、中央を無視することで、中央に外挿することができます。デザイナーが正しいカラープレーンを選択した場合、そうでない場合は、エッジで画像にシームレスに溶け込むテクスチャを生成できるはずです。

編集：ビデオの最後の例を見てください。どちらかのエッジで元の画像の上部を見ると、選択線が雲の「ギャップ」のすぐ下を通り、真ん中に「バンプ」があることがわかります。これらは、私の推測が正しいかどうかを確認するために期待する種類のアーティファクトです。 （OTOH、選択境界を越えて何らかのSudoミラーリングを使用していたことも確認できると思います。）

0
BCS