この論文は、人間と機械によるデコードされたビデオの消費に関連するビデオコーディングの新しいパラダイムである機械のビデオコーディングを扱っています。このようなタスクでは、圧縮されたビデオと機能の共同送信が考慮されます。このホワイトペーパーでは、機能の考慮事項をSIFTキーポイントに焦点を当てます。それらは、元のビデオから抽出されたSIFTキーポイントと比較して、キーポイントの数とそのパラメーターが失われた状態で、デコードされたビデオから抽出できます。このような損失は、量子化パラメータとビットレートの関数としてHEVCとVVCについて調査されます。本論文では、残余特徴データを圧縮ビデオと一緒に送信することを提案する。したがって、強く圧縮されたビデオの場合でも、すべてのSIFTキーポイント情報全体の送信が回避されます。
The paper deals with Video Coding for Machines that is a new paradigm in video coding related to consumption of decoded video by humans and machines. For such tasks, joint transmission of compressed video and features is considered. In this paper, we focus our considerations of features on SIFT keypoints. They can be extracted from the decoded video with losses in number of keypoints and their parameters as compared to the SIFT keypoints extracted from the original video. Such losses are studied for HEVC and VVC as functions of the quantization parameter and the bitrate. In the paper, we propose to transmit the residual feature data together with the compressed video. Therefore, even for strongly compressed video, the transmission of whole all SIFT keypoint information is avoided.