arXiv reaDer
進化的アルゴリズムに類似:統一されたシーケンスモデルの設計
Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model
生物学的進化に触発されて、実証済みの実用的な進化的アルゴリズム(EA)との類推によってビジョントランスフォーマーの合理性を説明し、両方が一貫した数学的表現を持っていることを導き出します。 EAの動的なローカル人口と同様に、既存の変圧器構造を改善し、より効率的なEATモデルを提案し、さまざまなタスクをより柔軟に処理するためのタスク関連ヘッドを設計します。さらに、空間充填曲線を現在のビジョントランスフォーマーに導入して、画像データを均一なシーケンシャル形式にシーケンスします。したがって、ネットワークアーキテクチャをデータ形式の適応から分離して、マルチモーダルタスクに対処するための統合EATフレームワークを設計できます。私たちのアプローチは、最近のビジョントランスフォーマーの動作と比較して、ImageNet分類タスクで最先端の結果を達成しますが、パラメーターは小さく、スループットは高くなります。さらに、マルチモーダルタスクを実行して、テキストベースの画像検索などの統合EATの優位性を実証します。このアプローチにより、CSSデータセットのベースラインよりもランク1が+3.7ポイント向上します。
Inspired by biological evolution, we explain the rationality of Vision Transformer by analogy with the proven practical Evolutionary Algorithm (EA) and derive that both of them have consistent mathematical representation. Analogous to the dynamic local population in EA, we improve the existing transformer structure and propose a more efficient EAT model, and design task-related heads to deal with different tasks more flexibly. Moreover, we introduce the spatial-filling curve into the current vision transformer to sequence image data into a uniform sequential format. Thus we can design a unified EAT framework to address multi-modal tasks, separating the network architecture from the data format adaptation. Our approach achieves state-of-the-art results on the ImageNet classification task compared with recent vision transformer works while having smaller parameters and greater throughput. We further conduct multi-modal tasks to demonstrate the superiority of the unified EAT, e.g., Text-Based Image Retrieval, and our approach improves the rank-1 by +3.7 points over the baseline on the CSS dataset.
updated: Fri Dec 17 2021 13:26:47 GMT+0000 (UTC)
published: Mon May 31 2021 16:20:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト