arXiv reaDer
Do We Really Need a Large Number of Visual Prompts?
リソースに制約のあるエッジにモデルを適応させることへの関心が高まっているため、パラメータ効率の高い転移学習が広く検討されています。さまざまな方法の中でも、学習可能なプロンプトを入力空間に追加するビジュアル プロンプト チューニング (VPT) は、完全なネットワーク パラメーターのトレーニングと比較して、優れた微調整パフォーマンスを示します。ただし、VPT では入力トークンの数が増加するため、計算オーバーヘッドが増加します。この論文では、ビジョン トランスフォーマー アーキテクチャにおけるパフォーマンスとセルフアテンション動作の微調整に対するプロンプトの数の影響を分析します。理論的および経験的分析を通じて、プロンプトを追加してもパフォーマンスが直線的に向上するわけではないことがわかります。さらに、少数のプロンプトの使用によるパフォーマンスの低下を防ぐことを目的としたプロンプト圧縮 (PC) 手法を提案します。 FGVC および VTAB-1k タスクでメソッドを検証し、このアプローチが精度を維持しながらプロンプトの数を最大 70% 削減することを示します。
Due to increasing interest in adapting models on resource-constrained edges, parameter-efficient transfer learning has been widely explored. Among various methods, Visual Prompt Tuning (VPT), prepending learnable prompts to input space, shows competitive fine-tuning performance compared to training of full network parameters. However, VPT increases the number of input tokens, resulting in additional computational overhead. In this paper, we analyze the impact of the number of prompts on fine-tuning performance and self-attention operation in a vision transformer architecture. Through theoretical and empirical analysis we show that adding more prompts does not lead to linear performance improvement. Further, we propose a Prompt Condensation (PC) technique that aims to prevent performance degradation from using a small number of prompts. We validate our methods on FGVC and VTAB-1k tasks and show that our approach reduces the number of prompts by ~70% while maintaining accuracy.
updated: Sun May 12 2024 21:45:52 GMT+0000 (UTC)
published: Fri May 26 2023 19:31:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト