arXiv reaDer
教師なしディープビデオノイズ除去
Unsupervised Deep Video Denoising
ビデオのノイズ除去用の深い畳み込みニューラルネットワーク(CNN)は、通常、クリーンなビデオが利用可能であることを前提として、監督下でトレーニングされます。ただし、顕微鏡などの多くのアプリケーションでは、ノイズのないビデオは利用できません。これに対処するために、ノイズの多いデータのみを使用してトレーニングするように設計されたCNNアーキテクチャである教師なしディープビデオデノイザー(UDVD)を提案します。 UDVDのパフォーマンスは、1つの短いノイズの多いビデオでのみトレーニングされた場合でも、監視された最先端のパフォーマンスに匹敵します。生のビデオ、蛍光顕微鏡、電子顕微鏡のデータをノイズ除去することにより、実際のイメージングアプリケーションでのアプローチの可能性を示します。ビデオノイズ除去に対する現在の多くのアプローチとは対照的に、UDVは明示的な動き補償を必要としません。これは、動き補償が計算コストが高く、入力データにノイズが多い場合に信頼性が低くなる可能性があるため、有利です。勾配ベースの分析により、UDVは入力ノイズの多いビデオのローカルモーションに自動的に適応することが明らかになりました。したがって、ネットワークは、ノイズ除去のためだけにトレーニングされている場合でも、暗黙的な動き補償を実行することを学習します。
Deep convolutional neural networks (CNNs) for video denoising are typically trained with supervision, assuming the availability of clean videos. However, in many applications, such as microscopy, noiseless videos are not available. To address this, we propose an Unsupervised Deep Video Denoiser (UDVD), a CNN architecture designed to be trained exclusively with noisy data. The performance of UDVD is comparable to the supervised state-of-the-art, even when trained only on a single short noisy video. We demonstrate the promise of our approach in real-world imaging applications by denoising raw video, fluorescence-microscopy and electron-microscopy data. In contrast to many current approaches to video denoising, UDVD does not require explicit motion compensation. This is advantageous because motion compensation is computationally expensive, and can be unreliable when the input data are noisy. A gradient-based analysis reveals that UDVD automatically adapts to local motion in the input noisy videos. Thus, the network learns to perform implicit motion compensation, even though it is only trained for denoising.
updated: Thu Aug 19 2021 19:41:54 GMT+0000 (UTC)
published: Mon Nov 30 2020 17:45:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト