ディープラーニングの最近の進歩により、標準のコダックベンチマークでJPEGおよびJPEG2000よりも優れた画像圧縮アルゴリズムが実現しました。ただし、それらはトレーニングに時間がかかり(backprop-through-timeのため)、私たちの知る限りでは、多種多様なデータセットで体系的に評価されていません。このホワイトペーパーでは、代替トレーニング戦略の効果を調査しながら、最近の最先端のハイブリッドニューラル圧縮アルゴリズムの最初の大規模な比較を実行します(該当する場合)。ハイブリッドリカレントニューラルデコーダーは、以前の最先端モデル(最近、Googleモデルに取って代わられました)であり、backprop-through-time(BPTT)を使用して、またはスパースアテンシブバックトラッキング(SAB)などの代替アルゴリズムを使用して、バイアスをかけずにトレーニングできます。オンライン反復最適化(UORO)、およびリアルタイム反復学習(RTRL)。これらのトレーニングの選択肢を、6つのベンチマークデータセットでGoogleモデル(GOOGおよびE2E)と比較します。驚いたことに、SABでトレーニングされたモデルのパフォーマンスが向上し(BPTTよりも優れている)、収束が速くなり、ピーク信号対雑音比が向上することがわかりました。
Recent advances in deep learning have resulted in image compression algorithms that outperform JPEG and JPEG 2000 on the standard Kodak benchmark. However, they are slow to train (due to backprop-through-time) and, to the best of our knowledge, have not been systematically evaluated on a large variety of datasets. In this paper, we perform the first large-scale comparison of recent state-of-the-art hybrid neural compression algorithms, while exploring the effects of alternative training strategies (when applicable). The hybrid recurrent neural decoder is a former state-of-the-art model (recently overtaken by a Google model) that can be trained using backprop-through-time (BPTT) or with alternative algorithms like sparse attentive backtracking (SAB), unbiased online recurrent optimization (UORO), and real-time recurrent learning (RTRL). We compare these training alternatives along with the Google models (GOOG and E2E) on 6 benchmark datasets. Surprisingly, we found that the model trained with SAB performs better (outperforming even BPTT), resulting in faster convergence and a better peak signal-to-noise ratio.