arXiv reaDer
ハイパースペクトル デモザイクの教師なし学習のための空間勾配の一貫性: 手術画像への応用
Spatial gradient consistency for unsupervised learning of hyperspectral demosaicking: Application to surgical imaging
ハイパースペクトル イメージングは、組織の特性評価がリアルタイムで高解像度で実行される場合、術中の意思決定を改善する可能性があります。ハイパースペクトル スナップショット モザイク センサーは、取得速度が速く、サイズが小さいため、有望なアプローチを提供します。ただし、スナップショット画像の空間情報とスペクトル情報を完全に復元するには、デモザイキング アルゴリズムが必要です。最先端のデモザイキング アルゴリズムのほとんどは、ペアになったスナップショットと高解像度のハイパースペクトル画像を含むグラウンド トゥルース トレーニング データを必要としますが、まったく同じシーンを含むこのような画像ペアを術中設定で取得することは物理的に不可能です。この作業では、トレーニング目的で模範的なスナップショット画像のみを必要とする、完全に教師なしのハイパースペクトル画像デモザイキング アルゴリズムを提示します。ハイパースペクトル デモザイクは、ディープ ニューラル ネットワークを使用して解く不適切な線形逆問題と見なされます。自然のシーンで発生するスペクトル相関を利用して、空間勾配の一貫性に基づく新しいスペクトル間バンド正則化項を設計します。提案された用語を標準的な正則化手法と組み合わせ、標準的なデータ忠実度の用語を活用することで、ディープ ニューラル ネットワークをトレーニングするための教師なし損失関数を取得します。これにより、リアルタイムのハイパースペクトル画像デモザイキングを実現できます。ハイパースペクトル画像データセットの定量的な結果は、教師なしデモザイキング アプローチが、教師ありのカウンターパートと同様のパフォーマンスを達成し、線形デモザイキングよりも大幅に優れていることを示しています。実際のスナップショット ハイパースペクトル手術画像に関する定性的なユーザー調査により、定量分析の結果が確認されました。私たちの結果は、提案された教師なしアルゴリズムがリアルタイムで有望なハイパースペクトル デモザイクを達成できるため、術中使用に対するモダリティの適合性が向上することを示唆しています。
Hyperspectral imaging has the potential to improve intraoperative decision making if tissue characterisation is performed in real-time and with high-resolution. Hyperspectral snapshot mosaic sensors offer a promising approach due to their fast acquisition speed and compact size. However, a demosaicking algorithm is required to fully recover the spatial and spectral information of the snapshot images. Most state-of-the-art demosaicking algorithms require ground-truth training data with paired snapshot and high-resolution hyperspectral images, but such imagery pairs with the exact same scene are physically impossible to acquire in intraoperative settings. In this work, we present a fully unsupervised hyperspectral image demosaicking algorithm which only requires exemplar snapshot images for training purposes. We regard hyperspectral demosaicking as an ill-posed linear inverse problem which we solve using a deep neural network. We take advantage of the spectral correlation occurring in natural scenes to design a novel inter spectral band regularisation term based on spatial gradient consistency. By combining our proposed term with standard regularisation techniques and exploiting a standard data fidelity term, we obtain an unsupervised loss function for training deep neural networks, which allows us to achieve real-time hyperspectral image demosaicking. Quantitative results on hyperspetral image datasets show that our unsupervised demosaicking approach can achieve similar performance to its supervised counter-part, and significantly outperform linear demosaicking. A qualitative user study on real snapshot hyperspectral surgical images confirms the results from the quantitative analysis. Our results suggest that the proposed unsupervised algorithm can achieve promising hyperspectral demosaicking in real-time thus advancing the suitability of the modality for intraoperative use.
updated: Tue Feb 21 2023 18:07:14 GMT+0000 (UTC)
published: Tue Feb 21 2023 18:07:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト