ディープニューラルネットワーク(DNN)の予測とセマンティック画像圧縮の説明は、ディープラーニングの2つの活発な研究分野であり、監視カメラ、ドローン、自動運転車など、解釈可能な決定が重要な決定が重要なシステムで多数のアプリケーションが使用されています。ストレージ/ネットワークの帯域幅は制限されています。この論文では、(1)畳み込みニューラルネットワーク(CNN)の予測を説明し、(2)入力画像を圧縮して効率的にすることを学習する、新しいエンドツーエンドのニューラル画像圧縮および説明(NICE)フレームワークを提案します。ストレージまたは送信。具体的には、NICEは、確率的バイナリゲートを画像の各ピクセルにアタッチすることにより、入力画像上にスパースマスクを生成します。そのパラメータは、説明するCNN分類器との相互作用を通じて学習されます。生成されたマスクは、CNNの最終予測への影響によって測定された各ピクセルの顕著性をキャプチャできます。また、重要なピクセルが元の高解像度を維持し、重要でない背景ピクセルが低解像度にサブサンプリングされる混合解像度画像の生成にも使用できます。生成された画像は、同様の分類精度を維持しながら、高い圧縮率(たとえば、元の画像ファイルサイズの約0.6倍)を実現します。複数の画像分類ベンチマークにわたる広範な実験により、説明の品質とセマンティック画像の圧縮率の点で、最先端の方法と比較してNICEの優れたパフォーマンスが実証されています。コードはhttps://github.com/lxuniverse/NICEで入手できます。
Explaining the prediction of deep neural networks (DNNs) and semantic image compression are two active research areas of deep learning with a numerous of applications in decision-critical systems, such as surveillance cameras, drones and self-driving cars, where interpretable decision is critical and storage/network bandwidth is limited. In this paper, we propose a novel end-to-end Neural Image Compression and Explanation (NICE) framework that learns to (1) explain the predictions of convolutional neural networks (CNNs), and (2) subsequently compress the input images for efficient storage or transmission. Specifically, NICE generates a sparse mask over an input image by attaching a stochastic binary gate to each pixel of the image, whose parameters are learned through the interaction with the CNN classifier to be explained. The generated mask is able to capture the saliency of each pixel measured by its influence to the final prediction of CNN; it can also be used to produce a mixed-resolution image, where important pixels maintain their original high resolution and insignificant background pixels are subsampled to a low resolution. The produced images achieve a high compression rate (e.g., about 0.6x of original image file size), while retaining a similar classification accuracy. Extensive experiments across multiple image classification benchmarks demonstrate the superior performance of NICE compared to the state-of-the-art methods in terms of explanation quality and semantic image compression rate. Our code is available at: https://github.com/lxuniverse/NICE.