ディープニューラルネットワーク(DNN)に関する最近の研究は、主にモデルの精度の向上に焦点を合わせています。適切な深層学習フレームワークがあれば、一般に、深さまたはレイヤー幅を増やして、より高いレベルの精度を実現することができます。ただし、モデルパラメータの数が非常に多いと、計算とメモリ使用のオーバーヘッドが増え、パラメータの冗長性が発生します。この論文では、従来の完全投影を双線形投影に置き換えることにより、DNNのパラメータ冗長性の問題に対処します。 D入力ノードとD出力ノードを持つ完全に接続されたレイヤーの場合、双線形射影を適用すると、モデル空間の複雑さがO(D ^ 2)からO(2D)に減少し、劣線形レイヤーサイズの深いモデルが実現します。ただし、構造化投影では、完全投影に比べて自由度が低く、フィット不足の問題が発生します。そのため、出力チャネルの数を増やすことでマッピングサイズを単純に拡大します。これにより、モデルの精度を維持し、さらに高めることができます。これにより、メモリ制限のあるモバイルシステムにこのようなディープモデルを展開することが非常に効率的で便利になります。 4つのベンチマークデータセットでの実験は、提案された双線形射影をディープニューラルネットワークに適用すると、モデルサイズを大幅に削減しながら、従来の完全DNNよりもさらに高い精度を達成できることを示しています。
Recent research on deep neural networks (DNNs) has primarily focused on improving the model accuracy. Given a proper deep learning framework, it is generally possible to increase the depth or layer width to achieve a higher level of accuracy. However, the huge number of model parameters imposes more computational and memory usage overhead and leads to the parameter redundancy. In this paper, we address the parameter redundancy problem in DNNs by replacing conventional full projections with bilinear projections. For a fully-connected layer with D input nodes and D output nodes, applying bilinear projection can reduce the model space complexity from O(D^2) to O(2D), achieving a deep model with a sub-linear layer size. However, structured projection has a lower freedom of degree compared to the full projection, causing the under-fitting problem. So we simply scale up the mapping size by increasing the number of output channels, which can keep and even boosts the model accuracy. This makes it very parameter-efficient and handy to deploy such deep models on mobile systems with memory limitations. Experiments on four benchmark datasets show that applying the proposed bilinear projection to deep neural networks can achieve even higher accuracies than conventional full DNNs, while significantly reduces the model size.