イベントベースのカメラは、低遅延と高ダイナミック レンジで高速モーションをキャプチャできるため、ますます人気が高まっています。ただし、イベント データは非常にまばらで変化する性質があるため、イベントからビデオを生成することは依然として困難です。これに対処するために、この研究では、イベントベースのビデオ再構築のための動的ニューラル ネットワーク アーキテクチャである HyperE2VID を提案します。私たちのアプローチでは、ハイパーネットワークと動的畳み込みを使用して、イベント ボクセル グリッドと以前に再構成された強度画像からの情報を組み合わせるコンテキスト フュージョン モジュールによってガイドされるピクセルごとの適応フィルターを生成します。また、ネットワークをより堅牢にトレーニングするためのカリキュラム学習戦略も採用しています。実験結果は、HyperE2VID が、最先端の方法よりも少ないパラメーターとより速い推論時間で、より優れた再構成品質を実現することを示しています。
Event-based cameras are becoming increasingly popular for their ability to capture high-speed motion with low latency and high dynamic range. However, generating videos from events remains challenging due to the highly sparse and varying nature of event data. To address this, in this study, we propose HyperE2VID, a dynamic neural network architecture for event-based video reconstruction. Our approach uses hypernetworks and dynamic convolutions to generate per-pixel adaptive filters guided by a context fusion module that combines information from event voxel grids and previously reconstructed intensity images. We also employ a curriculum learning strategy to train the network more robustly. Experimental results demonstrate that HyperE2VID achieves better reconstruction quality with fewer parameters and faster inference time than the state-of-the-art methods.