arXiv reaDer
TUCaN:カプセルへの着色の漸進的な指導
TUCaN: Progressively Teaching Colourisation to Capsules
自動画像の色付けは、グレースケール画像を(復元のために)色付けする方法を研究するコンピュータービジョン研究パスです。ディープラーニング技術により、画像の色付けが改善され、驚くべき結果が得られました。これらは、構造の違い、入力タイプ、ユーザーアシスタンスなど、さまざまな要因によって異なります。それらのほとんどは、オブジェクト特徴抽出に特化したレイヤーに重点を置いていない畳み込みレイヤーに基づいてアーキテクチャ構造を構築します。畳み込み層とカプセル層のコラボレーションを活用して、すべての画像に存在するエンティティのすっきりとした色付けを実現する、TUCaN(Tiny UCapsNet)という名前の新しいダウンサンプリングアップサンプリングアーキテクチャを紹介します。これは、スキップ接続と残りの接続によってそのようなレイヤー間のコラボレーションを実施することによって得られます。この問題は、量子化された空間のビンとして色を識別するピクセルごとの色分類タスクとして提起されます。ネットワークをトレーニングするために、標準のエンドツーエンドの学習方法とは対照的に、モデルを変更せずに学習プロセスを操作するだけでオブジェクトのコンテキストを抽出するプログレッシブ学習スキームを提案します。このスキームでは、アップサンプリングは低解像度の画像の再構成から始まり、トレーニングフェーズ全体を通して徐々に高解像度の画像に成長します。 3つのベンチマークデータセットでの実験結果は、ImageNet10kデータセットを使用したアプローチが、標準の品質メトリックで既存の方法を上回り、画像の色付けで最先端のパフォーマンスを達成することを示しています。着色結果の知覚的リアリズムを定量化するためにユーザー調査を実施しました。これは、進歩的な学習により、TUCaNがエンドツーエンドスキームよりも優れた色を実現できることを示しています。そして、既存の評価指標の限界を指摘します。
Automatic image colourisation is the computer vision research path that studies how to colourise greyscale images (for restoration). Deep learning techniques improved image colourisation yielding astonishing results. These differ by various factors, such as structural differences, input types, user assistance, etc. Most of them, base the architectural structure on convolutional layers with no emphasis on layers specialised in object features extraction. We introduce a novel downsampling upsampling architecture named TUCaN (Tiny UCapsNet) that exploits the collaboration of convolutional layers and capsule layers to obtain a neat colourisation of entities present in every single image. This is obtained by enforcing collaboration among such layers by skip and residual connections. We pose the problem as a per pixel colour classification task that identifies colours as a bin in a quantized space. To train the network, in contrast with the standard end to end learning method, we propose the progressive learning scheme to extract the context of objects by only manipulating the learning process without changing the model. In this scheme, the upsampling starts from the reconstruction of low resolution images and progressively grows to high resolution images throughout the training phase. Experimental results on three benchmark datasets show that our approach with ImageNet10k dataset outperforms existing methods on standard quality metrics and achieves state of the art performances on image colourisation. We performed a user study to quantify the perceptual realism of the colourisation results demonstrating: that progressive learning let the TUCaN achieve better colours than the end to end scheme; and pointing out the limitations of the existing evaluation metrics.
updated: Tue Jun 29 2021 08:44:15 GMT+0000 (UTC)
published: Tue Jun 29 2021 08:44:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト