機械学習の中心的な目標は、できるだけ多くのデータドメインで多くの問題を解決できるシステムの開発です。ただし、現在のアーキテクチャは、ステレオタイプ化された設定の小さなセットを超えて適用することはできません。これは、ドメインとタスクの仮定に基づいているか、大きな入力または出力へのスケーリングが不十分であるためです。この作業では、入力と出力のサイズに比例してスケーリングしながら、任意の設定からのデータを処理する汎用アーキテクチャであるPerceiverIOを提案します。私たちのモデルは、さまざまなサイズとセマンティクスの出力を可能にする柔軟なクエリメカニズムで知覚者を強化し、タスク固有のアーキテクチャエンジニアリングの必要性を排除します。同じアーキテクチャは、自然言語と視覚的理解、マルチタスクとマルチモーダル推論、およびStarCraftIIにまたがるタスクで強力な結果を達成します。ハイライトとして、Perceiver IOは、入力トークン化を削除したにもかかわらず、GLUE言語ベンチマークでTransformerベースのBERTベースラインを上回り、マルチスケール対応の明示的なメカニズムなしでSintelオプティカルフロー推定で最先端のパフォーマンスを実現します。
A central goal of machine learning is the development of systems that can solve many problems in as many data domains as possible. Current architectures, however, cannot be applied beyond a small set of stereotyped settings, as they bake in domain & task assumptions or scale poorly to large inputs or outputs. In this work, we propose Perceiver IO, a general-purpose architecture that handles data from arbitrary settings while scaling linearly with the size of inputs and outputs. Our model augments the Perceiver with a flexible querying mechanism that enables outputs of various sizes and semantics, doing away with the need for task-specific architecture engineering. The same architecture achieves strong results on tasks spanning natural language and visual understanding, multi-task and multi-modal reasoning, and StarCraft II. As highlights, Perceiver IO outperforms a Transformer-based BERT baseline on the GLUE language benchmark despite removing input tokenization and achieves state-of-the-art performance on Sintel optical flow estimation with no explicit mechanisms for multiscale correspondence.