AIコミュニティの現在の傾向をサポートするために、FusionBrainと呼ばれるAIJourney 2021チャレンジを提案します。これは、ユニバーサルアーキテクチャにさまざまなモダリティ(つまり、画像、テキスト、コード)を処理させ、ビジョンと言語の複数のタスクを解決することを目的としています。 Fusion Brain Challenge https://github.com/sberbank-ai/fusion_brain_aij2021は、Code2codeの翻訳、手書きのテキスト認識、ゼロショットオブジェクトの検出、視覚的な質問応答を組み合わせたものです。タスクごとにデータセットを作成して、参加者の提出物をテストしました。さらに、94,130組の画像とテキストで構成される、ロシア語と英語の両方の新しい手書きデータセットを開設しました。データセットのロシア語部分は、世界最大のロシア語の手書きデータセットです。また、ベースラインソリューションと対応するタスク固有のソリューション、および全体的なメトリックを提案します。
Supporting the current trend in the AI community, we propose the AI Journey 2021 Challenge called Fusion Brain which is targeted to make the universal architecture process different modalities (namely, images, texts, and code) and to solve multiple tasks for vision and language. The Fusion Brain Challenge https://github.com/sberbank-ai/fusion_brain_aij2021 combines the following specific tasks: Code2code Translation, Handwritten Text recognition, Zero-shot Object Detection, and Visual Question Answering. We have created datasets for each task to test the participants' submissions on it. Moreover, we have opened a new handwritten dataset in both Russian and English, which consists of 94,130 pairs of images and texts. The Russian part of the dataset is the largest Russian handwritten dataset in the world. We also propose the baseline solution and corresponding task-specific solutions as well as overall metrics.