arXiv reaDer
教師なし解きほぐされた空間スペクトルディーププライアを使用したハイパースペクトルノイズ除去
Hyperspectral Denoising Using Unsupervised Disentangled Spatio-Spectral Deep Priors
画像のノイズ除去は、多くの場合、正確な事前情報によって強化されます。近年、データ駆動型ニューラルネットワークの事前情報は、RGB自然画像のノイズ除去に有望なパフォーマンスを示しています。従来の手作りの事前分布(スパース性や全変動など)と比較して、「深い事前分布」は、複雑な画像生成プロセスを正確にモデル化できる多数のトレーニングサンプルを使用して学習されます。ただし、トレーニングデータが不足しているため、ハイパースペクトル画像(HSI)のデータ駆動型事前情報を取得するのは困難です。解決策は、いわゆる教師なしディープイメージプライア(DIP)を使用することです。教師なしDIPフレームワークの下で、適切なニューラルネットワーク構造が特定のタイプの画像の妥当な事前分布であり、データをトレーニングしなくてもネットワークの重みを学習できることが仮説と経験的に実証されています。それにもかかわらず、最も効果的な教師なしDIP構造は、HSIの代わりに自然画像に対して提案されました。教師なしDIPベースのHSIノイズ除去のパフォーマンスは、ネットワーク構造の設計とネットワークの複雑さという2つの深刻な課題によって制限されます。この作業は、HSIの古典的な空間スペクトル分解に基づく教師なしDIPフレームワークを提示します。 HSIのいわゆる線形混合モデルを利用して、2種類の教師なしDIP、つまりU-Netのようなネットワークと完全に接続されたネットワークを使用して、HSIに含まれる存在量マップと端成分をそれぞれモデル化します。このようにして、自然画像の経験的に検証された教師なしDIP構造を、HSIノイズ除去に簡単に組み込むことができます。さらに、分解によりネットワークの複雑さも大幅に軽減されます。公式化されたノイズ除去問題を処理するために、効率的な交互最適化アルゴリズムが提案されています。提案されたアプローチの有効性を示すために、半実数および実数のデータ実験が採用されています。
Image denoising is often empowered by accurate prior information. In recent years, data-driven neural network priors have shown promising performance for RGB natural image denoising. Compared to classic handcrafted priors (e.g., sparsity and total variation), the "deep priors" are learned using a large number of training samples -- which can accurately model the complex image generating process. However, data-driven priors are hard to acquire for hyperspectral images (HSIs) due to the lack of training data. A remedy is to use the so-called unsupervised deep image prior (DIP). Under the unsupervised DIP framework, it is hypothesized and empirically demonstrated that proper neural network structures are reasonable priors of certain types of images, and the network weights can be learned without training data. Nonetheless, the most effective unsupervised DIP structures were proposed for natural images instead of HSIs. The performance of unsupervised DIP-based HSI denoising is limited by a couple of serious challenges, namely, network structure design and network complexity. This work puts forth an unsupervised DIP framework that is based on the classic spatio-spectral decomposition of HSIs. Utilizing the so-called linear mixture model of HSIs, two types of unsupervised DIPs, i.e., U-Net-like network and fully-connected networks, are employed to model the abundance maps and endmembers contained in the HSIs, respectively. This way, empirically validated unsupervised DIP structures for natural images can be easily incorporated for HSI denoising. Besides, the decomposition also substantially reduces network complexity. An efficient alternating optimization algorithm is proposed to handle the formulated denoising problem. Semi-real and real data experiments are employed to showcase the effectiveness of the proposed approach.
updated: Wed Aug 18 2021 16:43:40 GMT+0000 (UTC)
published: Wed Feb 24 2021 14:38:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト