深層学習を用いた手法は、事実上すべての画像復元タスクにおいて、議論の余地のないリーダーとして登場した。特に顕微鏡画像の分野では、取得したデータの解釈性を向上させるために、様々なコンテンツ考慮型画像復元(CARE)アプローチが使われている。当然のことながら、破損した画像の復元には限界があり、他の逆問題と同様に、多くの潜在的な解が存在し、そのうちの1つを選択する必要がある。ここでは、完全な畳み込み型変分オートエンコーダー(VAE)に基づくノイズ除去アプローチであるDivNoisingを提案している。まず、画像ノイズモデルをデコーダに明示的に組み込むことで、VAEフレームワーク内で教師なしのノイズ除去問題を定式化する原理的な方法を紹介します。本手法は完全に教師なしで行われ、必要なのはノイズのある画像と画像ノイズ分布の適切な記述のみである。このようなノイズモデルは、測定したり、ノイズの多いデータからブートストラップしたり、学習中に共同学習したりすることができることを示しています。必要に応じて、DivNoising予測のセットからコンセンサス予測を推定することができ、他の教師なしの手法や、場合によっては教師ありの最先端の手法と比較しても遜色のない結果を得ることができる。事後からのDivNoisingサンプルは、数多くの有用なアプリケーションを可能にする。我々は、(i)13のデータセットのノイズ除去結果を示し、(ii)光学的文字認識(OCR)アプリケーションが多様な予測からどのような利益を得ることができるかを議論し、(iii)多様なDivNoising予測を使用した場合にインスタンスセルのセグメンテーションがどのように改善されるかを示す。
Deep Learning based methods have emerged as the indisputable leaders for virtually all image restoration tasks. Especially in the domain of microscopy images, various content-aware image restoration (CARE) approaches are now used to improve the interpretability of acquired data. Naturally, there are limitations to what can be restored in corrupted images, and like for all inverse problems, many potential solutions exist, and one of them must be chosen. Here, we propose DivNoising, a denoising approach based on fully convolutional variational autoencoders (VAEs), overcoming the problem of having to choose a single solution by predicting a whole distribution of denoised images. First we introduce a principled way of formulating the unsupervised denoising problem within the VAE framework by explicitly incorporating imaging noise models into the decoder. Our approach is fully unsupervised, only requiring noisy images and a suitable description of the imaging noise distribution. We show that such a noise model can either be measured, bootstrapped from noisy data, or co-learned during training. If desired, consensus predictions can be inferred from a set of DivNoising predictions, leading to competitive results with other unsupervised methods and, on occasion, even with the supervised state-of-the-art. DivNoising samples from the posterior enable a plethora of useful applications. We are (i) showing denoising results for 13 datasets, (ii) discussing how optical character recognition (OCR) applications can benefit from diverse predictions, and are (iii) demonstrating how instance cell segmentation improves when using diverse DivNoising predictions.