最小限のフレームごとの計算でビデオのフレーム単位の表現を推測する方法である StreamDEQ を紹介します。ネットワークの深さに応じて計算時間が少なくとも直線的に増加する従来の方法とは対照的に、継続的な方法で表現を更新することを目指しています。この目的のために、固定小数点問題を解くことによって画像の表現を推測する、最近出現した暗黙的なレイヤー モデルを活用します。私たちの主な洞察は、ビデオのゆっくりと変化する性質を活用し、前のフレーム表現を各フレームの初期条件として使用することです。このスキームは、最近の推論計算を効果的にリサイクルし、必要な処理時間を大幅に短縮します。広範な実験的分析を通じて、StreamDEQ が数フレーム時間でほぼ最適な表現を回復し、ビデオの長さ全体を通して最新の表現を維持できることを示しています。ビデオ セマンティック セグメンテーションとビデオ オブジェクト検出に関する当社の実験では、StreamDEQ がベースライン (標準 MDEQ) と同等の精度を達成し、3 倍以上高速であることを示しています。コードと追加の結果は、https://ufukertenli.github.io/streamdeq/ で入手できます。
We present StreamDEQ, a method that infers frame-wise representations on videos with minimal per-frame computation. In contrast to conventional methods where compute time grows at least linearly with the network depth, we aim to update the representations in a continuous manner. For this purpose, we leverage the recently emerging implicit layer models, which infer the representation of an image by solving a fixed-point problem. Our main insight is to leverage the slowly changing nature of videos and use the previous frame representation as an initial condition on each frame. This scheme effectively recycles the recent inference computations and greatly reduces the needed processing time. Through extensive experimental analysis, we show that StreamDEQ is able to recover near-optimal representations in a few frames time, and maintain an up-to-date representation throughout the video duration. Our experiments on video semantic segmentation and video object detection show that StreamDEQ achieves on par accuracy with the baseline (standard MDEQ) while being more than 3× faster. Code and additional results are available at https://ufukertenli.github.io/streamdeq/.