arXiv reaDer
DDCNet-Multires:高密度予測のための効果的な受容野誘導多重解像度CNN
DDCNet-Multires: Effective Receptive Field Guided Multiresolution CNN for Dense Prediction
不均一なモーションダイナミクス、オクルージョン、およびシーンの均一性を備えたシーンに大きな変位がある場合、高密度のオプティカルフロー推定は困難です。これらの課題を処理するための従来のアプローチには、階層的および多重解像度の処理方法が含まれます。学習ベースのオプティカルフロー法は、通常、広範囲の流速と不均一な動きが存在する場合に、画像ワーピングを伴う多重解像度アプローチを使用します。このような粗い方法から細かい方法の精度は、画像が複数の解像度にわたって歪むときのゴーストアーチファクトと、モーションコントラストが高い小さなシーン範囲での勾配消失問題の影響を受けます。以前は、ネットワーク(DDCNet)の有効受容野(ERF)特性に基づいて、コンパクトで高密度の予測ネットワークを構築するための戦略を考案しました。 DDCNetの設計は意図的にシンプルでコンパクトであり、より複雑でコンパクトなネットワークを設計するためのビルディングブロックとして使用できます。この作業では、ERFの範囲を減らしてDDCNetベースのサブネットをカスケード接続することにより、DDCNet戦略を拡張して異種モーションダイナミクスを処理します。多重解像度機能を備えた当社のDDCNet(DDCNet-Multires)は、特別なネットワークレイヤーがなくてもコンパクトです。標準のオプティカルフローベンチマークデータセットを使用して、DDCNet-Multiresネットワークのパフォーマンスを評価します。私たちの実験は、DDCNet-MultiresがDDCNet-B0および-B1よりも改善され、同様の軽量学習ベースの方法に匹敵する精度でオプティカルフロー推定を提供することを示しています。
Dense optical flow estimation is challenging when there are large displacements in a scene with heterogeneous motion dynamics, occlusion, and scene homogeneity. Traditional approaches to handle these challenges include hierarchical and multiresolution processing methods. Learning-based optical flow methods typically use a multiresolution approach with image warping when a broad range of flow velocities and heterogeneous motion is present. Accuracy of such coarse-to-fine methods is affected by the ghosting artifacts when images are warped across multiple resolutions and by the vanishing problem in smaller scene extents with higher motion contrast. Previously, we devised strategies for building compact dense prediction networks guided by the effective receptive field (ERF) characteristics of the network (DDCNet). The DDCNet design was intentionally simple and compact allowing it to be used as a building block for designing more complex yet compact networks. In this work, we extend the DDCNet strategies to handle heterogeneous motion dynamics by cascading DDCNet based sub-nets with decreasing extents of their ERF. Our DDCNet with multiresolution capability (DDCNet-Multires) is compact without any specialized network layers. We evaluate the performance of the DDCNet-Multires network using standard optical flow benchmark datasets. Our experiments demonstrate that DDCNet-Multires improves over the DDCNet-B0 and -B1 and provides optical flow estimates with accuracy comparable to similar lightweight learning-based methods.
updated: Mon Jul 12 2021 17:28:08 GMT+0000 (UTC)
published: Mon Jul 12 2021 17:28:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト