arXiv reaDer
LWA-HAND: 相互作用する手の再構築のための軽量の注意用ハンド
LWA-HAND: Lightweight Attention Hand for Interacting Hand Reconstruction
手の再構築は、視覚的現実や拡張現実などのリアルタイム アプリケーションで大きな成功を収めていますが、効率的なトランスフォーマーを介した両手の再構築との相互作用は未踏のままです。この論文では、軽量アテンション ハンド (LWA-HAND) と呼ばれる手法を提案し、単一の RGB 画像からロー フロップのハンドを再構築します。効率的なアテンション アーキテクチャにおけるオクルージョンとインタラクションの課題を解決するために、3 つのモバイル アテンション モジュールを導入します。最初のモジュールは、ローカル オクルージョン表現とグローバル イメージ パッチ表現の両方を粗から細かい方法で抽出する軽量の特徴アテンション モジュールです。 2 番目のモジュールは、クロス イメージとグラフ ブリッジ モジュールで、イメージ コンテキストと手の頂点を融合します。 3 番目のモジュールは、線形の複雑さで 2 つの手の相互注意に要素単位の操作を使用する軽量の相互注意メカニズムです。結果として得られるモデルは、最新のモデルと比較して、InterHand2.6M ベンチマークで同等のパフォーマンスを達成します。同時に、フロップを 0.47GFlops に減らしますが、最先端のモデルでは 10GFlops から 20GFlops の間で重い計算が行われます。
Hand reconstruction has achieved great success in real-time applications such as visual reality and augmented reality while interacting with two-hand reconstruction through efficient transformers is left unexplored. In this paper, we propose a method called lightweight attention hand (LWA-HAND) to reconstruct hands in low flops from a single RGB image. To solve the occlusion and interaction challenges in efficient attention architectures, we introduce three mobile attention modules. The first module is a lightweight feature attention module that extracts both local occlusion representation and global image patch representation in a coarse-to-fine manner. The second module is a cross image and graph bridge module which fuses image context and hand vertex. The third module is a lightweight cross-attention mechanism that uses element-wise operation for cross attention of two hands in linear complexity. The resulting model achieves comparable performance on the InterHand2.6M benchmark in comparison with the state-of-the-art models. Simultaneously, it reduces the flops to 0.47GFlops while the state-of-the-art models have heavy computations between 10GFlops and 20GFlops.
updated: Tue Aug 23 2022 03:54:47 GMT+0000 (UTC)
published: Sun Aug 21 2022 06:25:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト