近年、深層学習ベースのコンピュータビジョンシステムがますます増加するペースで画像に適用されており、多くの場合、これらの画像の唯一のタイプの消費を表しています。 1日に生成される画像の数が劇的に増加していることを考えると、疑問が生じます。機械の消費を対象とする画像コーデックは、人間の消費を対象とする最先端のコーデックに対してどれだけ優れているでしょうか。この論文では、ニューラルネットワーク(NN)ベースでエンドツーエンドで学習されたマシン用の画像コーデックを提案します。特に、コンピュータビジョンタスクの損失、画像の歪みの損失、レートの損失など、競合する損失関数のバランスを取るという微妙な問題に対処する一連のトレーニング戦略を提案します。私たちの実験結果は、NNベースのコーデックがオブジェクト検出およびインスタンスセグメンテーションタスクで最先端のVersa-tile Video Coding(VVC)標準を上回り、BDレートゲインの-37.87%および-32.90%を達成していることを示しています。 、それぞれ、コンパクトなサイズのおかげで高速です。私たちの知る限り、これはエンドツーエンドで学習された最初のマシンターゲットイメージコーデックです。
Over recent years, deep learning-based computer vision systems have been applied to images at an ever-increasing pace, oftentimes representing the only type of consumption for those images. Given the dramatic explosion in the number of images generated per day, a question arises: how much better would an image codec targeting machine-consumption perform against state-of-the-art codecs targeting human-consumption? In this paper, we propose an image codec for machines which is neural network (NN) based and end-to-end learned. In particular, we propose a set of training strategies that address the delicate problem of balancing competing loss functions, such as computer vision task losses, image distortion losses, and rate loss. Our experimental results show that our NN-based codec outperforms the state-of-the-art Versa-tile Video Coding (VVC) standard on the object detection and instance segmentation tasks, achieving -37.87% and -32.90% of BD-rate gain, respectively, while being fast thanks to its compact size. To the best of our knowledge, this is the first end-to-end learned machine-targeted image codec.