arXiv reaDer
ビデオドレインのためのトリプルレベルモデル推定協調ネットワークアーキテクチャ
Triple-level Model Inferred Collaborative Network Architecture for Video Deraining
ビデオのドレインは、屋外ビジョンシステムにとって重要な問題であり、広く調査されています。ただし、モデルの形成とデータ配信を集約して最適なアーキテクチャを設計することは、ビデオのドレインにとって困難な作業です。この論文では、さまざまなビデオ雨の状況に対処するために、協調最適化と自動検索メカニズムを備えたネットワークアーキテクチャを推定するためのモデルガイドトリプルレベル最適化フレームワークを開発します。これは、トリプルレベルモデル推定協調検索(TMICS)と呼ばれます。特に、既存の方法ではさまざまな雨の筋の分布をカバーできないという問題を軽減するために、最初にタスク変数とハイパーパラメータに関するハイパーパラメータ最適化モデルを設計します。提案された最適化モデルに基づいて、ビデオドレインのための協調構造を設計します。この構造には、アテンションベースの平均化スキーム(AAS)を導入することで連携するドミナントネットワークアーキテクチャ(DNA)とコンパニオンネットワークアーキテクチャ(CNA)が含まれます。ビデオからのフレーム間情報をよりよく探索するために、オプティカルフローモジュール(OFM)と時間グループ化モジュール(TGM)から検索して潜在フレームの復元を支援する巨視的構造検索スキームを導入します。さらに、タスク固有の操作のコンパクトな候補セットからの微分可能なニューラルアーキテクチャ検索を適用して、望ましいレインストリーク除去アーキテクチャを自動的に検出します。さまざまなデータセットでの広範な実験は、私たちのモデルが最先端の作品よりも忠実度と時間的一貫性の大幅な改善を示していることを示しています。ソースコードはhttps://github.com/vis-opt-group/TMICSで入手できます。
Video deraining is an important issue for outdoor vision systems and has been investigated extensively. However, designing optimal architectures by the aggregating model formation and data distribution is a challenging task for video deraining. In this paper, we develop a model-guided triple-level optimization framework to deduce network architecture with cooperating optimization and auto-searching mechanism, named Triple-level Model Inferred Cooperating Searching (TMICS), for dealing with various video rain circumstances. In particular, to mitigate the problem that existing methods cannot cover various rain streaks distribution, we first design a hyper-parameter optimization model about task variable and hyper-parameter. Based on the proposed optimization model, we design a collaborative structure for video deraining. This structure includes Dominant Network Architecture (DNA) and Companionate Network Architecture (CNA) that is cooperated by introducing an Attention-based Averaging Scheme (AAS). To better explore inter-frame information from videos, we introduce a macroscopic structure searching scheme that searches from Optical Flow Module (OFM) and Temporal Grouping Module (TGM) to help restore latent frame. In addition, we apply the differentiable neural architecture searching from a compact candidate set of task-specific operations to discover desirable rain streaks removal architectures automatically. Extensive experiments on various datasets demonstrate that our model shows significant improvements in fidelity and temporal consistency over the state-of-the-art works. Source code is available at https://github.com/vis-opt-group/TMICS.
updated: Mon Nov 08 2021 13:09:00 GMT+0000 (UTC)
published: Mon Nov 08 2021 13:09:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト