arXiv reaDer
SketchZooms:線画を照合するための詳細なマルチビュー記述子
SketchZooms: Deep multi-view descriptors for matching line drawings
画像間の点ごとの対応を見つけることは、画像分析における長年の問題です。これは、人間の描画スタイルの性質の変化、投影の歪み、ビューポートの変更により、スケッチ画像では特に困難になります。この論文では、線画の密な登録のために学習された記述子を取得する最初の試みを提示します。対応する写真の最近の深層学習手法に基づいて、対象のオブジェクトが同じセマンティックカテゴリに属していても、形状、形状、投影角度が大幅に異なる画像ペアにローカルに一致する記述子を設計しました。この目的のために、パーツベースの登録済み3Dモデルの大規模なコレクションに対して、非写実的レンダリングを使用して合成スケッチのデータセットを特別に作成しました。トレーニング後、ニューラルネットワークは入力画像のすべてのピクセルの記述子を生成します。記述子は、人間が手描きした目に見えないスケッチで正しく一般化されることが示されています。スケッチで効果的であることが証明されている他の記述子との比較に加えて、専門の設計者から収集された対応データのベースラインに対して私たちの方法を評価します。コード、データ、その他のリソースは、公開時までに公開されます。
Finding point-wise correspondences between images is a long-standing problem in image analysis. This becomes particularly challenging for sketch images, due to the varying nature of human drawing style, projection distortions and viewport changes. In this paper we present the first attempt to obtain a learned descriptor for dense registration in line drawings. Based on recent deep learning techniques for corresponding photographs, we designed descriptors to locally match image pairs where the object of interest belongs to the same semantic category, yet still differ drastically in shape, form, and projection angle. To this end, we have specifically crafted a data set of synthetic sketches using non-photorealistic rendering over a large collection of part-based registered 3D models. After training, a neural network generates descriptors for every pixel in an input image, which are shown to generalize correctly in unseen sketches hand-drawn by humans. We evaluate our method against a baseline of correspondences data collected from expert designers, in addition to comparisons with other descriptors that have been proven effective in sketches. Code, data and further resources will be publicly released by the time of publication.
updated: Sat Jan 02 2021 19:50:29 GMT+0000 (UTC)
published: Fri Nov 29 2019 14:31:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト