arXiv reaDer
コミックを再構成するための高密度マルチタスク学習
Dense Multitask Learning to Reconfigure Comics
この論文では、漫画のパネルの高密度予測を実現するマルチタスク学習 (MTL) モデルを開発します。これにより、著者が物語を再構成するタスクを支援することで、ある出版チャネルから別の出版チャネルへの漫画の転送が容易になります。私たちの MTL メソッドは、漫画のコマに埋め込まれた 3D の概念だけでなく、意味単位も首尾よく識別できます。漫画は作者の創作プロセスに依存する異種の芸術スタイル、イラスト、レイアウト、オブジェクトのスケールで構成されているため、これは非常に難しい問題です。通常、高密度画像ベースの予測技術には、大量のデータ コーパスが必要です。したがって、漫画領域での密な予測のための自動ソリューションを見つけることは、漫画画像に対するグラウンドトゥルースの密な注釈が不足しているため、より困難になります。これらの課題に対処するために、私たちは次のソリューションを開発します。 1) 教師なし画像間変換として知られる一般的に使用される戦略を活用します。これにより、現実世界の注釈の大規模なコーパスを利用できるようになります。 2) 翻訳の結果を利用して、ビジョントランスフォーマーバックボーンとドメイン転送可能な注意モジュールに基づくマルチタスクアプローチを開発します。 3) MTL 密集予測手法を既存のリターゲティング手法と統合し、それによってコミックを再構成する実現可能性を研究します。
In this paper, we develop a MultiTask Learning (MTL) model to achieve dense predictions for comics panels to, in turn, facilitate the transfer of comics from one publication channel to another by assisting authors in the task of reconfiguring their narratives. Our MTL method can successfully identify the semantic units as well as the embedded notion of 3D in comic panels. This is a significantly challenging problem because comics comprise disparate artistic styles, illustrations, layouts, and object scales that depend on the authors creative process. Typically, dense image-based prediction techniques require a large corpus of data. Finding an automated solution for dense prediction in the comics domain, therefore, becomes more difficult with the lack of ground-truth dense annotations for the comics images. To address these challenges, we develop the following solutions: 1) we leverage a commonly-used strategy known as unsupervised image-to-image translation, which allows us to utilize a large corpus of real-world annotations; 2) we utilize the results of the translations to develop our multitasking approach that is based on a vision transformer backbone and a domain transferable attention module; 3) we study the feasibility of integrating our MTL dense-prediction method with an existing retargeting method, thereby reconfiguring comics.
updated: Sun Jul 16 2023 15:10:34 GMT+0000 (UTC)
published: Sun Jul 16 2023 15:10:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト