arXiv reaDer
Integer Discrete Flows and Lossless Compression
 ロスレス圧縮方法は、統計モデルを使用して、情報を失うことなくデータの予想される表現サイズを短縮します。フローベースモデルは、メッセージごとの予想ビット数を最小化するのと同等の正確な尤度最適化を許可するため、この設定では魅力的です。ただし、従来のフローは連続データを想定しているため、圧縮のために量子化すると再構成エラーが発生する可能性があります。そのため、整数離散フロー(IDF)と呼ばれる順序離散データのフローベースの生成モデルを導入します。これは、高次元データの豊富な変換を学習できる全単射整数マップです。 IDFの構成要素として、整数離散結合と呼ばれる柔軟な変換レイヤーを導入します。私たちの実験は、IDFが他のフローベースの生成モデルと競合することを示しています。さらに、IDFベースの圧縮が、CIFAR10、ImageNet32、およびImageNet64で最先端の可逆圧縮率を達成することを実証します。私たちの知る限り、これは可逆ニューラルネットワークを使用する最初の可逆圧縮方法です。
Lossless compression methods shorten the expected representation size of data without loss of information, using a statistical model. Flow-based models are attractive in this setting because they admit exact likelihood optimization, which is equivalent to minimizing the expected number of bits per message. However, conventional flows assume continuous data, which may lead to reconstruction errors when quantized for compression. For that reason, we introduce a flow-based generative model for ordinal discrete data called Integer Discrete Flow (IDF): a bijective integer map that can learn rich transformations on high-dimensional data. As building blocks for IDFs, we introduce a flexible transformation layer called integer discrete coupling. Our experiments show that IDFs are competitive with other flow-based generative models. Furthermore, we demonstrate that IDF based compression achieves state-of-the-art lossless compression rates on CIFAR10, ImageNet32, and ImageNet64. To the best of our knowledge, this is the first lossless compression method that uses invertible neural networks.
updated: Fri Dec 06 2019 10:15:54 GMT+0000 (UTC)
published: Fri May 17 2019 17:07:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト