■ 論文種類
原著論文　フルペーパー

■ 論文分野
科学系分野

■ カテゴリ
画像処理技術

■ 該当特集
特集名「NICOGRAPH 2016 発表論文特集」

■ 論文題名
パッチベースイメージキルティング探索法を用いた２画像の相対配置の最適化によるイメージモンタージュ法
Image Montage by Optimizing Relative Arrangement of Two Images using Patch-based Image Quilting Search

■ 著者名
鈴木康太（学生会員）
藤本忠博（正会員）

Kota Suzuki
Tadahiro Fujimoto

■ 著者所属
岩手大学大学院工学研究科
Graduate School of Engineering, Iwate University

■ 著者e-mail
h23j074@eecs.iwate-u.ac.jp
fujimoto@cis.iwate-u.ac.jp

■ 連絡担当者の氏名、住所、所属、電話、Fax、e-mail
氏名：藤本忠博
住所：岩手県盛岡市上田4-3-5
所属：岩手大学大学院工学研究科デザイン・メディア工学専攻
電話：019-621-6484
Fax：019-624-4078
e-mail：fujimoto@cis.iwate-u.ac.jp

■ 論文概要
本研究では，異なるシーンを撮影した２枚の入力画像の最適な相対配置を自動的に決定して自然な出力画像を合成するイメージモンタージュ法を提案する．本手法では，２枚の入力画像が部分的に重なるように相対的に配置し，その重なり領域において入力画像間の色の分布が最も類似する縦横方向の画素列を最類似パスとして求める．そして，効率的な多重解像度処理により，全ての相対配置の中から類似度が最も高い最類似パスを持つ最適な相対配置を決定する．最類似パスの探索は，イメージキルティングテクスチャ合成法で用いられる画素ベースの探索法をパッチベースに発展させた「パッチベースイメージキルティング探索法」によって行う．このパッチベース探索法では，入力画像間で重なり合うパッチどうしの類似度を考え，パスに沿った連続するパッチ群の類似度が最も高いものを最類似パスとして得る．パッチ間の類似度の評価にはカラーヒストグラムを用いる．最適な相対配置の決定後は，２枚の入力画像をつなぐ「境界領域」と出力画像上に複製する各入力画像上の「複製領域」を縦横方向の最類似パスから決定する．そして，境界領域に対するフェザリングとテクスチャ合成，あるいは，ポアソン画像合成によって自然な出力画像を得る．なお，出力画像上に残したい各入力画像上の「保持領域」の指定も可能である．

In this research, we propose an image montage method to synthesize a natural-looking output image by automatically determining the optimal relative arrangement of two input images of different scenes to montage. In this method, the two input images are relatively arranged so as to overlap each other partially. The overlapping region is searched for the most similar paths in both of vertical and horizontal directions, each of which is the chain of pixels with the most similar color distribution between the two input images. An efficient multiresolution method determines the optimal relative arrangement that has the most similar paths with the highest similarity among all relative arrangements. The most similar path is found by the patch-based image quilting search method, which we have developed based on the pixel-based search method used in the image quilting texture synthesis. This patch-based search method evaluates the similarity between two patches overlapping each other, which come from the two input images respectively. The method finds the most similar path that has the chain of patches with the highest similarity along the path. The similarity between two patches is evaluated using their color histograms. After determining the optimal relative arrangement, the "boundary region" and "copy regions" are determined using the most similar paths of both directions. The two input images are stitched together along the boundary region. The copy region copied from each input image is pasted on the output image as it is. The output image is completed by applying feathering and texture synthesis, or Poisson image editing to the boundary region. A "preserved region" can be assigned in each input image in order to include the region on the output image.

■ キーワード
イメージモンタージュ，最適な相対配置，イメージキルティング，カラーヒストグラム，多重解像度，フェザリング，テクスチャ合成，ポアソン画像合成
image montage, optimal relative arrangement, image quilting, color histogram, multiresolution, feathering, texture synthesis, Poisson image editing