ハードウェアのコストとシステムのサイズによって制限されるため、カメラの視野 (FoV) は必ずしも満足できるものではありません。ただし、時空間的な観点から見ると、カメラの物理的な FoV を超える情報は既製品であり、実際には過去から「無料で」取得できます。この論文では、Beyond-FoV 推定と呼ばれる新しいタスクを提案します。これは、過去の視覚的手がかりを利用し、カメラの物理的な FoV を双方向で突破することを目的としています。我々は、オプティカル フローによって明示的に機能伝播を達成し、新しいクリップ リカレント トランスフォーマーによって暗示的に機能伝播を達成することにより、FoV を拡張する FlowLens アーキテクチャを提唱しました。これには、2 つの魅力的な機能があります。時間次元に蓄積されたグローバルな情報をプログレッシブに処理するための注意 (DDCA)。 2) マルチブランチ ミックス フュージョン フィード フォワード ネットワーク (MixF3N) が統合され、ローカル フィーチャの空間的に正確なフローが強化されます。トレーニングと評価を促進するために、KITTI360-EX、外側および内側の FoV 拡張用のデータセットを確立します。ビデオ修復と視野外推定タスクの両方に関する広範な実験により、FlowLens が最先端のパフォーマンスを達成することが示されています。コードは、https://github.com/MasterHow/FlowLens で公開されます。
Limited by hardware cost and system size, camera's Field-of-View (FoV) is not always satisfactory. However, from a spatio-temporal perspective, information beyond the camera's physical FoV is off-the-shelf and can actually be obtained "for free" from the past. In this paper, we propose a novel task termed Beyond-FoV Estimation, aiming to exploit past visual cues and bidirectional break through the physical FoV of a camera. We put forward a FlowLens architecture to expand the FoV by achieving feature propagation explicitly by optical flow and implicitly by a novel clip-recurrent transformer, which has two appealing features: 1) FlowLens comprises a newly proposed Clip-Recurrent Hub with 3D-Decoupled Cross Attention (DDCA) to progressively process global information accumulated in the temporal dimension. 2) A multi-branch Mix Fusion Feed Forward Network (MixF3N) is integrated to enhance the spatially-precise flow of local features. To foster training and evaluation, we establish KITTI360-EX, a dataset for outer- and inner FoV expansion. Extensive experiments on both video inpainting and beyond-FoV estimation tasks show that FlowLens achieves state-of-the-art performance. Code will be made publicly available at https://github.com/MasterHow/FlowLens.