arXiv reaDer
MEDVQA-GI 2023 での UIT 救世主: 胃腸の視覚的質問応答のための画像強化によるマルチモーダル学習の改善
UIT-Saviors at MEDVQA-GI 2023: Improving Multimodal Learning with Image Enhancement for Gastrointestinal Visual Question Answering
近年、人工知能は医療や病気の診断において重要な役割を果たしており、数多くの応用例が挙げられますが、その 1 つが Medical Visual Question Answering (MedVQA) です。 MedVQA システムは、コンピュータ ビジョンと自然言語処理を組み合わせることで、専門家が特定の質問に基づいて医療画像から関連情報を抽出し、正確な診断回答を提供できるように支援します。 ImageCLEFmed-MEDVQA-GI-2023 チャレンジでは、胃内視鏡検査と結腸内視鏡検査の画像を含む、胃腸領域における視覚的な質問応答タスクを実行しました。私たちのチームは、胃腸画像での VQA パフォーマンスを向上させる画像強調機能を備えたマルチモーダル学習方法を提案することで、課題のタスク 1 に取り組みました。マルチモーダル アーキテクチャは、BERT エンコーダと、畳み込みニューラル ネットワーク (CNN) に基づくさまざまな事前トレーニング済みビジョン モデル、および質問画像と内視鏡画像からの特徴抽出用のトランスフォーマー アーキテクチャでセットアップされています。この研究の結果は、CNN に対する Transformer ベースのビジョン モデルの優位性を強調し、8 つのビジョン モデルのうち 6 つがより優れた F1 スコアを達成するという画像強調プロセスの有効性を実証しています。 BERT+BEiT 融合と画像強調を活用した当社の最良の方法は、開発テスト セットで最大 87.25% の精度と 91.85% の F1 スコアを達成し、プライベート テスト セットでも 82.01% の精度で良好な結果をもたらしました。
In recent years, artificial intelligence has played an important role in medicine and disease diagnosis, with many applications to be mentioned, one of which is Medical Visual Question Answering (MedVQA). By combining computer vision and natural language processing, MedVQA systems can assist experts in extracting relevant information from medical image based on a given question and providing precise diagnostic answers. The ImageCLEFmed-MEDVQA-GI-2023 challenge carried out visual question answering task in the gastrointestinal domain, which includes gastroscopy and colonoscopy images. Our team approached Task 1 of the challenge by proposing a multimodal learning method with image enhancement to improve the VQA performance on gastrointestinal images. The multimodal architecture is set up with BERT encoder and different pre-trained vision models based on convolutional neural network (CNN) and Transformer architecture for features extraction from question and endoscopy image. The result of this study highlights the dominance of Transformer-based vision models over the CNNs and demonstrates the effectiveness of the image enhancement process, with six out of the eight vision models achieving better F1-Score. Our best method, which takes advantages of BERT+BEiT fusion and image enhancement, achieves up to 87.25% accuracy and 91.85% F1-Score on the development test set, while also producing good result on the private test set with accuracy of 82.01%.
updated: Mon Nov 20 2023 03:15:27 GMT+0000 (UTC)
published: Thu Jul 06 2023 05:22:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト