画像の色付けは不適切な問題であり、入力データに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しい解決策があります。以前のアプローチは、強力なユーザーインタラクションを必要とするか、画像レベル(コンテキスト)機能の学習で畳み込みニューラルネットワーク(CNN)の機能を利用することにより、問題を攻撃しました。ただし、人間のヒントを取得することが常に実行可能であるとは限らず、監視で事前トレーニングされた複数のモデルを考慮しない限り、CNNだけではオブジェクトレベルのセマンティクスを学習できません。この作業では、UCapsNetという名前の単一のネットワークを提案します。このネットワークは、畳み込みによって取得された画像レベルの特徴と、カプセルによってキャプチャされたオブジェクトレベルの特徴を分離します。次に、異なるレイヤー間の接続をスキップすることにより、このようなもつれを解く要素間のコラボレーションを実施して、高品質でもっともらしい画像の色付けを生成します。この問題は、完全に自己監視されたアプローチで対処できる分類タスクとして提起されているため、人間の努力は必要ありません。 3つのベンチマークデータセットでの実験結果は、私たちのアプローチが標準的な品質指標で既存の方法を上回り、画像の色付けで最先端のパフォーマンスを達成することを示しています。大規模なユーザー調査によると、既存のソリューションよりも私たちの方法が好まれています。
Image colourisation is an ill-posed problem, with multiple correct solutions which depend on the context and object instances present in the input datum. Previous approaches attacked the problem either by requiring intense user interactions or by exploiting the ability of convolutional neural networks (CNNs) in learning image level (context) features. However, obtaining human hints is not always feasible and CNNs alone are not able to learn object-level semantics unless multiple models pretrained with supervision are considered. In this work, we propose a single network, named UCapsNet, that separate image-level features obtained through convolutions and object-level features captured by means of capsules. Then, by skip connections over different layers, we enforce collaboration between such disentangling factors to produce high quality and plausible image colourisation. We pose the problem as a classification task that can be addressed by a fully self-supervised approach, thus requires no human effort. Experimental results on three benchmark datasets show that our approach outperforms existing methods on standard quality metrics and achieves a state of the art performances on image colourisation. A large scale user study shows that our method is preferred over existing solutions.