この作品は、最先端のVisio-linguisticモデルの実装であるVilioと、それらのHatefulMemesデータセットへの適用を示しています。実装されたモデルは、統一されたコードベースに適合され、パフォーマンスが向上するように変更されています。 Vilioの目標は、視覚言語の問題に対してユーザーフレンドリーな出発点を提供することです。 Vilioに実装された5つの異なるV + Lモデルのアンサンブルは、3,300人の参加者のうちHateful MemesChallengeで2位を獲得しました。コードはhttps://github.com/Muennighoff/vilioで入手できます。
This work presents Vilio, an implementation of state-of-the-art visio-linguistic models and their application to the Hateful Memes Dataset. The implemented models have been fitted into a uniform code-base and altered to yield better performance. The goal of Vilio is to provide a user-friendly starting point for any visio-linguistic problem. An ensemble of 5 different V+L models implemented in Vilio achieves 2nd place in the Hateful Memes Challenge out of 3,300 participants. The code is available at https://github.com/Muennighoff/vilio.