arXiv reaDer
ハイブリッドディープイメージプライアによる逆問題の解決:過剰適合を防ぐための課題
Solving Inverse Problems with Hybrid Deep Image Priors: the challenge of preventing overfitting
主にディープイメージプライア(DIP)の過剰適合問題を分析して解決します。ディープイメージプライアは、超解像、修復、ノイズ除去などの逆問題を解決できます。他の深層学習アプローチに対するDIPの主な利点は、大規模なデータセットにアクセスする必要がないことです。ただし、ニューラルネットワークのパラメーターの数が多く、データにノイズが多いため、反復回数が増えると、DIPは画像のノイズに適合しなくなります。論文では、過剰適合を回避するためにハイブリッドディープイメージプライアを使用します。ハイブリッド事前分布は、DIPを、全変動などの明示的な事前分布、またはノイズ除去アルゴリズムなどの暗黙的な事前分布と組み合わせます。交互方向乗数法(ADMM)を使用して新しい事前確率を組み込み、さまざまな形式のADMMを試して、ADMMステップの内部ループによって引き起こされる余分な計算を回避します。また、最急降下法のダイナミクスと過剰適合現象との関係についても研究します。数値結果は、ハイブリッド事前分布が過剰適合の防止に重要な役割を果たしていることを示しています。さらに、いくつかの方向に沿って画像を適合させようとしますが、この方法により、ノイズレベルが大きい場合の過剰適合を減らすことができます。ノイズレベルが小さい場合、過剰適合の問題は大幅に軽減されません。
We mainly analyze and solve the overfitting problem of deep image prior (DIP). Deep image prior can solve inverse problems such as super-resolution, inpainting and denoising. The main advantage of DIP over other deep learning approaches is that it does not need access to a large dataset. However, due to the large number of parameters of the neural network and noisy data, DIP overfits to the noise in the image as the number of iterations grows. In the thesis, we use hybrid deep image priors to avoid overfitting. The hybrid priors are to combine DIP with an explicit prior such as total variation or with an implicit prior such as a denoising algorithm. We use the alternating direction method-of-multipliers (ADMM) to incorporate the new prior and try different forms of ADMM to avoid extra computation caused by the inner loop of ADMM steps. We also study the relation between the dynamics of gradient descent, and the overfitting phenomenon. The numerical results show the hybrid priors play an important role in preventing overfitting. Besides, we try to fit the image along some directions and find this method can reduce overfitting when the noise level is large. When the noise level is small, it does not considerably reduce the overfitting problem.
updated: Tue Nov 03 2020 14:50:53 GMT+0000 (UTC)
published: Tue Nov 03 2020 14:50:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト