arXiv reaDer
デュアルパッチノーム
Dual PatchNorm
デュアル PatchNorm: ビジョン トランスフォーマーのパッチ埋め込みレイヤーの前後にある 2 つのレイヤー正規化レイヤー (LayerNorms) を提案します。 Dual PatchNorm は、Transformer ブロック自体で代替の LayerNorm 配置戦略を徹底的に検索した結果よりも優れていることを示しています。私たちの実験では、この些細な変更を組み込むことで、よく調整されたビジョン トランスフォーマーよりも精度が向上することが多く、問題はありません。
We propose Dual PatchNorm: two Layer Normalization layers (LayerNorms), before and after the patch embedding layer in Vision Transformers. We demonstrate that Dual PatchNorm outperforms the result of exhaustive search for alternative LayerNorm placement strategies in the Transformer block itself. In our experiments, incorporating this trivial modification, often leads to improved accuracy over well-tuned Vision Transformers and never hurts.
updated: Thu Feb 02 2023 18:56:25 GMT+0000 (UTC)
published: Thu Feb 02 2023 18:56:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト