arXiv reaDer
MultiBench: Multiscale Benchmarks for Multimodal Representation Learning
マルチモーダル表現の学習には、複数の異種データソースからの情報の統合が含まれます。これは、マルチメディア、感情コンピューティング、ロボット工学、金融、人間とコンピューターの相互作用、およびヘルスケアにおける多数の実世界のアプリケーションを備えた、挑戦的でありながら重要な分野です。残念ながら、マルチモーダル研究では、(1)ドメインとモダリティ全体の一般化、(2)トレーニングと推論中の複雑さ、(3)ノイズの多いモダリティの欠落に対する堅牢性を研究するためのリソースが限られています。現実世界の堅牢性を確保しながら、十分に研究されていないモダリティとタスクへの進展を加速するために、15のデータセット、10のモダリティ、20の予測タスク、および6つの研究領域にまたがる体系的で統一された大規模ベンチマークであるMultiBenchをリリースします。 MultiBenchは、自動化されたエンドツーエンドの機械学習パイプラインを提供し、データの読み込み、実験のセットアップ、モデルの評価を簡素化および標準化します。全体的な評価を可能にするために、MultiBenchは、(1)一般化、(2)時間と空間の複雑さ、および(3)モダリティの堅牢性を評価するための包括的な方法論を提供します。 MultiBenchは、大規模なマルチモーダルデータセットへのスケーラビリティや現実的な欠陥への堅牢性など、将来の研究に影響を与える課題をもたらします。このベンチマークに付随して、マルチモーダル学習における20のコアアプローチの標準化された実装も提供します。さまざまな研究分野で提案された方法を適用するだけで、9/15データセットの最先端のパフォーマンスを向上させることができます。したがって、MultiBenchは、マルチモーダル研究におけるばらばらの取り組みを統合するマイルストーンを提示し、使いやすさ、アクセス可能性、および再現性を確保しながら、マルチモーダルモデルの機能と制限をよりよく理解するための道を開きます。 MultiBench、標準化されたコード、およびリーダーボードは公開されており、定期的に更新され、コミュニティからの入力を歓迎します。
Learning multimodal representations involves integrating information from multiple heterogeneous sources of data. It is a challenging yet crucial area with numerous real-world applications in multimedia, affective computing, robotics, finance, human-computer interaction, and healthcare. Unfortunately, multimodal research has seen limited resources to study (1) generalization across domains and modalities, (2) complexity during training and inference, and (3) robustness to noisy and missing modalities. In order to accelerate progress towards understudied modalities and tasks while ensuring real-world robustness, we release MultiBench, a systematic and unified large-scale benchmark spanning 15 datasets, 10 modalities, 20 prediction tasks, and 6 research areas. MultiBench provides an automated end-to-end machine learning pipeline that simplifies and standardizes data loading, experimental setup, and model evaluation. To enable holistic evaluation, MultiBench offers a comprehensive methodology to assess (1) generalization, (2) time and space complexity, and (3) modality robustness. MultiBench introduces impactful challenges for future research, including scalability to large-scale multimodal datasets and robustness to realistic imperfections. To accompany this benchmark, we also provide a standardized implementation of 20 core approaches in multimodal learning. Simply applying methods proposed in different research areas can improve the state-of-the-art performance on 9/15 datasets. Therefore, MultiBench presents a milestone in unifying disjoint efforts in multimodal research and paves the way towards a better understanding of the capabilities and limitations of multimodal models, all the while ensuring ease of use, accessibility, and reproducibility. MultiBench, our standardized code, and leaderboards are publicly available, will be regularly updated, and welcomes inputs from the community.
updated: Thu Jul 15 2021 17:54:36 GMT+0000 (UTC)
published: Thu Jul 15 2021 17:54:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト