arXiv reaDer
疑似ぼかしシンセサイザーを使用した人間とシーンの動きのぼかし除去
Human and Scene Motion Deblurring using Pseudo-blur Synthesizer
現在の深層学習ベースのモーションブレ除去方法は、合成ブラーとシャープデータのペアを利用して、特定のフレームワークを回帰します。このタスクは、ぼやけた画像入力を出力として復元されたバージョンに直接変換するように設計されています。前述のアプローチは、トレーニング段階の前にのみ利用可能な合成ぼやけデータの品質に大きく依存しています。大量のデータを提供することによってこの問題を処理することは、一般的な使用には費用がかかります。トレーニングおよびテスト段階で実行できるオンザフライのぼやけたデータオーグメンターを提供することで、この課題に答えます。それを十分に活用するために、blur-deblur-reblur-deblurステップのシーケンスを採用する非正統的なブレ除去フレームワークのスキームを組み込んでいます。再ぼかしステップは、シャープまたはぼけ除去された対応物の再ぼかしバージョン(疑似ぼかし)を提供する再ぼかしモジュール(シンセサイザー)によって支援されます。提案されたモジュールには、最先端の人体統計モデルを使用して抽出された手作りの事前情報も装備されています。この事前情報は、敵対的学習中に人間と人間以外の領域をマッピングして、人間の関節とシーンのモーションブラーの特性を完全に知覚するために使用されます。このアプローチを採用することにより、ぼけ除去モジュールは適応性を持ち、最近の最先端のぼけ除去アルゴリズムと比較して優れた結果を達成します。
Present-day deep learning-based motion deblurring methods utilize the pair of synthetic blur and sharp data to regress any particular framework. This task is designed for directly translating a blurry image input into its restored version as output. The aforementioned approach relies heavily on the quality of the synthetic blurry data, which are only available before the training stage. Handling this issue by providing a large amount of data is expensive for common usage. We answer this challenge by providing an on-the-fly blurry data augmenter that can be run during training and test stages. To fully utilize it, we incorporate an unorthodox scheme of deblurring framework that employs the sequence of blur-deblur-reblur-deblur steps. The reblur step is assisted by a reblurring module (synthesizer) that provides the reblurred version (pseudo-blur) of its sharp or deblurred counterpart. The proposed module is also equipped with hand-crafted prior extracted using the state-of-the-art human body statistical model. This prior is employed to map human and non-human regions during adversarial learning to fully perceive the characteristics of human-articulated and scene motion blurs. By engaging this approach, our deblurring module becomes adaptive and achieves superior outcomes compared to recent state-of-the-art deblurring algorithms.
updated: Thu Nov 25 2021 04:56:13 GMT+0000 (UTC)
published: Thu Nov 25 2021 04:56:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト