大規模なトランスベースの事前トレーニングは、最近、視覚と言語(V + L)の研究に革命をもたらしました。 LXMERT、ViLBERT、UNITERなどのモデルは、幅広いV + Lタスクで最先端技術を大幅に向上させました。ただし、このようなモデルのパラメータの数が多いと、実際のアプリケーションが妨げられます。並行して、宝くじの仮説に関する研究では、ディープニューラルネットワークには、単独でトレーニングした場合に高密度ネットワークと同等またはそれ以上のパフォーマンスを達成できる小さなマッチングサブネットワークが含まれていることが示されています。この作業では、このようなトレーニング可能なサブネットワークが事前トレーニング済みのV + Lモデルにも存在するかどうかを評価するために、最初の実証的研究を実行します。最高のパフォーマンスを発揮するV + Lモデルの1つであるUNITERをテストベッドとして使用し、視覚的な質問応答、視覚的な常識的推論、視覚的な含意、参照表現の理解、画像テキスト検索など、実験用の7つの代表的なV + Lタスクを統合します。 、GQA、およびNLVR ^ 2。総合的な分析を通じて、主な調査結果を以下のように要約します。 (i)完全なUNITERモデルのパフォーマンスに厳密に一致するサブネットワーク(つまり、チケット)を見つけることは困難です。ただし、完全な精度の99%を維持する、50%〜70%のスパース性で「リラックスした」当選チケットを見つけることができることを確認することは心強いことです。 (ii)タスク固有のプルーニングによって検出されたサブネットワークは他のタスクに適度に転送されますが、60%/ 70%のスパース性で事前トレーニングタスクで検出されたサブネットワークは普遍的に転送され、平均して完全な精度の98%/ 96%に一致します。すべてのタスク。 (iii)敵対的訓練をさらに使用して、見つかった宝くじのパフォーマンスを向上させることができます。
Large-scale transformer-based pre-training has recently revolutionized vision-and-language (V+L) research. Models such as LXMERT, ViLBERT and UNITER have significantly lifted the state of the art over a wide range of V+L tasks. However, the large number of parameters in such models hinders their application in practice. In parallel, work on the lottery ticket hypothesis has shown that deep neural networks contain small matching subnetworks that can achieve on par or even better performance than the dense networks when trained in isolation. In this work, we perform the first empirical study to assess whether such trainable subnetworks also exist in pre-trained V+L models. We use UNITER, one of the best-performing V+L models, as the testbed, and consolidate 7 representative V+L tasks for experiments, including visual question answering, visual commonsense reasoning, visual entailment, referring expression comprehension, image-text retrieval, GQA, and NLVR^2. Through comprehensive analysis, we summarize our main findings as follows. (i) It is difficult to find subnetworks (i.e., the tickets) that strictly match the performance of the full UNITER model. However, it is encouraging to confirm that we can find "relaxed" winning tickets at 50%-70% sparsity that maintain 99% of the full accuracy. (ii) Subnetworks found by task-specific pruning transfer reasonably well to the other tasks, while those found on the pre-training tasks at 60%/70% sparsity transfer universally, matching 98%/96% of the full accuracy on average over all the tasks. (iii) Adversarial training can be further used to enhance the performance of the found lottery tickets.