入力画像をベースレイヤーとディテールレイヤーに分離するレイヤー分解は、画像の復元に着実に使用されています。加法モデルに基づく既存の残余ネットワークでは、高速収束と視覚的品質の向上のために、出力範囲が小さい残余層が必要です。ただし、逆ハーフトーンでは、均一なドットパターンが、残りの層からの小さな出力範囲を妨げます。したがって、ガウス畳み込みモデル(GCM)と構造認識ぼけ除去戦略に基づく新しい層分解ネットワークを提示して、基本層と詳細層の両方の残余学習を実現します。ベースレイヤーについては、新しいGCMベースの残差サブネットワークが表示されます。 GCMは統計的分布を利用しており、ガウスフィルターを使用したぼやけた連続階調画像とぼやけたハーフトーン画像の画像の違いにより、出力範囲が狭くなる可能性があります。続いて、GCMベースの残差サブネットワークは、入力としてガウスフィルター処理されたハーフトーン画像を使用し、残差として画像の差を出力します。これにより、ベースレイヤー、つまりガウスぼかし連続階調画像が生成されます。詳細層については、新しい構造認識残留ぼけ除去サブネットワーク(SARDS)が提示されます。ベースレイヤーのガウスぼかしを除去するために、SARDSは予測されたベースレイヤーを入力として使用し、ぼかし除去バージョンを出力します。線やテキストなどの画像構造をより効果的に復元するために、新しい画像構造マップ予測子がブレ除去ネットワークに組み込まれ、構造適応学習を誘導します。この論文は、GCMとSARDSに基づいてベース層と詳細層の両方の残余学習を実現する方法を提供します。さらに、提案された方法が、U-Net、直接ぼけ除去ネットワーク、および漸進的に残余のネットワークに基づく最先端の方法を超えることが検証されている。
Layer decomposition to separate an input image into base and detail layers has been steadily used for image restoration. Existing residual networks based on an additive model require residual layers with a small output range for fast convergence and visual quality improvement. However, in inverse halftoning, homogenous dot patterns hinder a small output range from the residual layers. Therefore, a new layer decomposition network based on the Gaussian convolution model (GCM) and structure-aware deblurring strategy is presented to achieve residual learning for both the base and detail layers. For the base layer, a new GCM-based residual subnetwork is presented. The GCM utilizes a statistical distribution, in which the image difference between a blurred continuous-tone image and a blurred halftoned image with a Gaussian filter can result in a narrow output range. Subsequently, the GCM-based residual subnetwork uses a Gaussian-filtered halftoned image as input and outputs the image difference as residual, thereby generating the base layer, i.e., the Gaussian-blurred continuous-tone image. For the detail layer, a new structure-aware residual deblurring subnetwork (SARDS) is presented. To remove the Gaussian blurring of the base layer, the SARDS uses the predicted base layer as input and outputs the deblurred version. To more effectively restore image structures such as lines and texts, a new image structure map predictor is incorporated into the deblurring network to induce structure-adaptive learning. This paper provides a method to realize the residual learning of both the base and detail layers based on the GCM and SARDS. In addition, it is verified that the proposed method surpasses state-of-the-art methods based on U-Net, direct deblurring networks, and progressively residual networks.