arXiv reaDer
機械のビデオコーディング:インテリジェントなコラボレーション分析のためのコンパクトな視覚的表現の圧縮
Video Coding for Machine: Compact Visual Representation Compression for Intelligent Collaborative Analytics
Video Coding for Machines(VCM)は、ビデオ/画像圧縮と機能圧縮の別々の研究トラックをある程度橋渡しすることに取り組んでおり、高精度のマシンビジョンと完全な忠実度の人間のビジョンの統一された視点から共同でコンパクトさと効率を最適化しようとしています。このホワイトペーパーでは、既存の学界と産業の取り組みに基づいて、VCMの方法論と哲学を要約します。 VCMの開発は、一般的なレート歪み最適化に従い、主要なモジュールまたは手法の分類が確立されます。以前の作品から、既存の作品は機械や人間の視覚タスクを扱うときにビット単位のスケーラブルな表現の性質を明らかにしようとしていますが、低ビットレート表現の一般性、したがってサポートする方法についてはまれな研究が残っていることが示されていますさまざまな視覚的分析タスク。したがって、視覚分析のための複数のタスクから抽出されたコンパクトな視覚表現の機能を強化するために、分析分類問題の新しい視覚情報圧縮を調査します。タスクの関係と圧縮の新しい視点が再検討されます。さまざまなマシンビジョンタスク(高レベルのセマンティックタスクや中レベルのジオメトリ関連など)間の転送可能性を念頭に置くことで、複数のタスクを低ビットレートで共同でサポートすることを目指しています。特に、ピクセルから抽出されたニューラルネットワークで生成された特徴とさまざまなマシンビジョンの特徴/ラベル(シーンクラス、セグメンテーションラベルなど)との間の次元ギャップを狭めるために、コードブックハイパープライアはニューラルネットワークで生成された特徴を圧縮するように設計されています。私たちの実験で実証されたように、この新しいハイパープライアモデルは、信号エントロピーをより正確に推定することによって特徴の圧縮効率を改善することが期待されます。これにより、さまざまなタスク間でコンパクトな特徴を抽象化する粒度をさらに調査できます。
Video Coding for Machines (VCM) is committed to bridging to an extent separate research tracks of video/image compression and feature compression, and attempts to optimize compactness and efficiency jointly from a unified perspective of high accuracy machine vision and full fidelity human vision. In this paper, we summarize VCM methodology and philosophy based on existing academia and industrial efforts. The development of VCM follows a general rate-distortion optimization, and the categorization of key modules or techniques is established. From previous works, it is demonstrated that, although existing works attempt to reveal the nature of scalable representation in bits when dealing with machine and human vision tasks, there remains a rare study in the generality of low bit rate representation, and accordingly how to support a variety of visual analytic tasks. Therefore, we investigate a novel visual information compression for the analytics taxonomy problem to strengthen the capability of compact visual representations extracted from multiple tasks for visual analytics. A new perspective of task relationships versus compression is revisited. By keeping in mind the transferability among different machine vision tasks (e.g. high-level semantic and mid-level geometry-related), we aim to support multiple tasks jointly at low bit rates. In particular, to narrow the dimensionality gap between neural network generated features extracted from pixels and a variety of machine vision features/labels (e.g. scene class, segmentation labels), a codebook hyperprior is designed to compress the neural network-generated features. As demonstrated in our experiments, this new hyperprior model is expected to improve feature compression efficiency by estimating the signal entropy more accurately, which enables further investigation of the granularity of abstracting compact features among different tasks.
updated: Mon Oct 18 2021 12:42:13 GMT+0000 (UTC)
published: Mon Oct 18 2021 12:42:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト