arXiv reaDer
内視鏡検査用の物理的に動機付けられたダウンサンプリングカーネルによるゼロショット超解像
Zero-shot super-resolution with a physically-motivated downsampling kernel for endomicroscopy
超解像(SR)法は、畳み込みニューラルネットワーク(CNN)の開発のおかげで大きな進歩を遂げました。 CNNは、内視鏡画像の品質を向上させるためにうまく採用されています。それでも、内視鏡検査におけるSRの研究の固有の制限は、監視されたトレーニングと参照ベースの画質評価(IQA)の両方に一般的に使用されるグラウンドトゥルース高解像度(HR)画像の欠如のままです。したがって、教師なしSRなどの代替方法が検討されています。非参照画質改善の必要性に対処するために、我々は、グラウンドトゥルースHRを必要とせずに自己監視方式で処理される内視鏡データのみに依存する新しいゼロショット超解像(ZSSR)アプローチを設計しました画像。提案されたパイプラインを、内視鏡の不規則なファイバーベースのサンプリングパターンを説明する物理的に動機付けられたボロノイダウンスケーリングカーネルと現実的なノイズパターンの両方を導入することにより、内視鏡の特異性に合わせて調整しました。また、ビデオシーケンスを利用して、画像のシーケンスを活用し、自己監視によるゼロショットの画質を向上させました。カーネルのダウンスケーリングとノイズシミュレーションに関する貢献度を評価するために、アブレーションスタディを実行します。合成データと元のデータの両方で方法論を検証します。合成実験は参照ベースのIQAで評価されましたが、元の画像の結果は、専門家と非専門家の両方のオブザーバーで実施されたユーザー調査で評価されました。結果は、ベースライン法と比較して、ZSSR再構成の画質において優れた性能を示しました。 ZSSRは、監視対象の単一画像SRと比較した場合にも競争力があり、特に専門家が推奨する再構成手法です。
Super-resolution (SR) methods have seen significant advances thanks to the development of convolutional neural networks (CNNs). CNNs have been successfully employed to improve the quality of endomicroscopy imaging. Yet, the inherent limitation of research on SR in endomicroscopy remains the lack of ground truth high-resolution (HR) images, commonly used for both supervised training and reference-based image quality assessment (IQA). Therefore, alternative methods, such as unsupervised SR are being explored. To address the need for non-reference image quality improvement, we designed a novel zero-shot super-resolution (ZSSR) approach that relies only on the endomicroscopy data to be processed in a self-supervised manner without the need for ground-truth HR images. We tailored the proposed pipeline to the idiosyncrasies of endomicroscopy by introducing both: a physically-motivated Voronoi downscaling kernel accounting for the endomicroscope's irregular fibre-based sampling pattern, and realistic noise patterns. We also took advantage of video sequences to exploit a sequence of images for self-supervised zero-shot image quality improvement. We run ablation studies to assess our contribution in regards to the downscaling kernel and noise simulation. We validate our methodology on both synthetic and original data. Synthetic experiments were assessed with reference-based IQA, while our results for original images were evaluated in a user study conducted with both expert and non-expert observers. The results demonstrated superior performance in image quality of ZSSR reconstructions in comparison to the baseline method. The ZSSR is also competitive when compared to supervised single-image SR, especially being the preferred reconstruction technique by experts.
updated: Thu Mar 25 2021 17:47:02 GMT+0000 (UTC)
published: Thu Mar 25 2021 17:47:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト