コンピュータビジョンタスクは、圧縮された画像に対して実行されることがよくあります。 JPEG 2000などの古典的な画像圧縮規格が広く使用されています。ただし、これらは特定の最終タスクを考慮していません。再帰型ニューラルネットワーク(RNN)ベースの画像圧縮と3次元(3D)再構成に関する作業に動機付けられて、両方のタスクを共同で解決する統合ネットワークアーキテクチャを提案します。これらのジョイントモデルは、3D再構成の特定のタスクに合わせて調整された画像圧縮を提供します。提案されたモデルで圧縮された画像は、JPEG 2000圧縮を使用する場合と比較して、優れた3D再構築パフォーマンスを実現します。私たちのモデルは、3D再構成が可能な圧縮率の範囲を大幅に拡張します。また、3D再構成タスクを実行するためにすでに必要な計算に加えて、圧縮を取得するための追加コストをほとんどかけずに、これを非常に効率的に実行できることも示しています。
Computer vision tasks are often expected to be executed on compressed images. Classical image compression standards like JPEG 2000 are widely used. However, they do not account for the specific end-task at hand. Motivated by works on recurrent neural network (RNN)-based image compression and three-dimensional (3D) reconstruction, we propose unified network architectures to solve both tasks jointly. These joint models provide image compression tailored for the specific task of 3D reconstruction. Images compressed by our proposed models, yield 3D reconstruction performance superior as compared to using JPEG 2000 compression. Our models significantly extend the range of compression rates for which 3D reconstruction is possible. We also show that this can be done highly efficiently at almost no additional cost to obtain compression on top of the computation already required for performing the 3D reconstruction task.