概念コーディングは最近、新しい研究トピックであり、自然画像を圧縮のために解きほぐされた概念表現にエンコードします。ただし、既存の方法の圧縮パフォーマンスは、レートの制約と再構成の品質を包括的に考慮していないため、依然として最適ではありません。この目的のために、我々は、エントロピー推定とテクスチャ合成のための統一された事前表現として意味論的な深い表現を活用する、超低ビットレート画像圧縮に向けた新しいエンドツーエンドの意味論的事前モデリングベースの概念コーディングスキームを提案します。具体的には、セマンティックセグメンテーションマップを、深いセマンティックプライアを抽出するための構造ガイダンスとして採用します。これにより、詳細な構築と後続の高レベルの視覚タスクにおける柔軟性を高めるためのきめ細かいテクスチャ分布モデリングが提供されます。さらに、クロスチャネルエントロピーモデルは、空間的に独立したセマンティックプライアのチャネル間相関をさらに活用するために提案され、レート制約付きトレーニングのより正確なエントロピー推定につながります。提案されたスキームは、高い視覚的再構成品質と視覚的処理および分析タスクに対する多様性を享受しながら、超高1000倍の圧縮率を達成します。
Conceptual coding has been an emerging research topic recently, which encodes natural images into disentangled conceptual representations for compression. However, the compression performance of the existing methods is still sub-optimal due to the lack of comprehensive consideration of rate constraint and reconstruction quality. To this end, we propose a novel end-to-end semantic prior modeling-based conceptual coding scheme towards extremely low bitrate image compression, which leverages semantic-wise deep representations as a unified prior for entropy estimation and texture synthesis. Specifically, we employ semantic segmentation maps as structural guidance for extracting deep semantic prior, which provides fine-grained texture distribution modeling for better detail construction and higher flexibility in subsequent high-level vision tasks. Moreover, a cross-channel entropy model is proposed to further exploit the inter-channel correlation of the spatially independent semantic prior, leading to more accurate entropy estimation for rate-constrained training. The proposed scheme achieves an ultra-high 1000x compression ratio, while still enjoying high visual reconstruction quality and versatility towards visual processing and analysis tasks.