arXiv reaDer
中小規模の行列のためのバッチ効率の良い固有分解
Batch-efficient EigenDecomposition for Small and Medium Matrices
EigenDecomposition(ED)は、多くのコンピュータービジョンアルゴリズムおよびアプリケーションの中心です。その使用を制限する重大なボトルネックの1つは、特にディープニューラルネットワークの行列のミニバッチの場合、計算コストが高くなることです。本論文では、コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。私たちが提案する方法は、すべての行列を同時に処理し、GPUの能力を十分に活用する、バッチ処理された行列/ベクトル乗算によってEDを完全に実行します。私たちの手法は、ダブルウィルキンソンシフトを伴うギブンス回転による明示的なQR反復に基づいています。いくつかの加速手法により、QR反復の時間計算量はO(n ^ 5)からO(n ^ 3)に減少します。数値テストは、中小規模のバッチ行列(たとえば、dim <32)の場合、この方法はPytorchSVD関数よりもはるかに高速である可能性があることを示しています。視覚認識と画像生成に関する実験結果は、私たちの方法が競争力のあるパフォーマンスも達成することを示しています。
EigenDecomposition (ED) is at the heart of many computer vision algorithms and applications. One crucial bottleneck limiting its usage is the expensive computation cost, particularly for a mini-batch of matrices in the deep neural networks. In this paper, we propose a QR-based ED method dedicated to the application scenarios of computer vision. Our proposed method performs the ED entirely by batched matrix/vector multiplication, which processes all the matrices simultaneously and thus fully utilizes the power of GPUs. Our technique is based on the explicit QR iterations by Givens rotation with double Wilkinson shifts. With several acceleration techniques, the time complexity of QR iterations is reduced from O(n^5) to O(n^3). The numerical test shows that for small and medium batched matrices (e.g., dim<32) our method can be much faster than the Pytorch SVD function. Experimental results on visual recognition and image generation demonstrate that our methods also achieve competitive performances.
updated: Sat Jul 09 2022 09:14:12 GMT+0000 (UTC)
published: Sat Jul 09 2022 09:14:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト