arXiv reaDer
コミックドメインでの画像の深さの推定
Estimating Image Depth in the Comics Domain
コミック画像の深さを推定することは、そのような画像がa)単眼であるため困難です。 b)グラウンドトゥルース深度の注釈がない。 c)異なる芸術スタイル間で異なります。 d)まばらで騒々しい。したがって、既製の教師なし画像から画像への変換方法を使用してコミック画像を自然画像に変換し、次に注意誘導単眼深度推定器を使用してそれらの深度を予測します。これにより、既存の自然画像の深度アノテーションを活用して深度推定器をトレーニングできます。さらに、私たちのモデルは、コミックパネルのテキストと画像を区別して、深度推定のテキストベースのアーティファクトを減らすことを学習します。私たちの方法は、DCM画像とeBDtheque画像の両方で、すべてのメトリックにわたって既存の最先端のアプローチを一貫して上回っています。最後に、コミックの深度予測を評価するためのデータセットを紹介します。
Estimating the depth of comics images is challenging as such images a) are monocular; b) lack ground-truth depth annotations; c) differ across different artistic styles; d) are sparse and noisy. We thus, use an off-the-shelf unsupervised image to image translation method to translate the comics images to natural ones and then use an attention-guided monocular depth estimator to predict their depth. This lets us leverage the depth annotations of existing natural images to train the depth estimator. Furthermore, our model learns to distinguish between text and images in the comics panels to reduce text-based artefacts in the depth estimates. Our method consistently outperforms the existing state-ofthe-art approaches across all metrics on both the DCM and eBDtheque images. Finally, we introduce a dataset to evaluate depth prediction on comics.
updated: Thu Oct 07 2021 15:54:27 GMT+0000 (UTC)
published: Thu Oct 07 2021 15:54:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト