畳み込みニューラル ネットワーク (CNN) を含むディープ マシン ラーニング モデルは、医療画像、アンケート、およびビデオを使用した軽度認知障害 (MCI) の検出に成功しています。この論文では、顔の特徴を分析することにより、MCIを正常な認知を持つものと区別するための新しいマルチブランチ分類子ビデオビジョントランスフォーマー(MC-ViViT)モデルを提案します。このデータは、頻繁にビデオチャットを提供することで認知機能を改善することを目的とした行動介入試験である I-CONECT から得られたものです。 MC-ViViT は、ビデオの時空間特徴を 1 つのブランチで抽出し、MC モジュールによって表現を拡張します。 I-CONECT データセットは困難です。データセットが Hard-Easy および Positive-Negative サンプルを含む不均衡なため、MC-ViViT のパフォーマンスが妨げられます。不均衡な問題に対処するために、焦点損失と AD-CORRE 損失を組み合わせることにより、Hard-Easy および Positive-Negative Samples (HP Loss) の損失関数を提案します。 I-CONECT データセットでの実験結果は、一部のインタビュー動画で 90.63% の精度で MCI を予測する MC-ViViT の大きな可能性を示しています。
Deep machine learning models including Convolutional Neural Networks (CNN) have been successful in the detection of Mild Cognitive Impairment (MCI) using medical images, questionnaires, and videos. This paper proposes a novel Multi-branch Classifier-Video Vision Transformer (MC-ViViT) model to distinguish MCI from those with normal cognition by analyzing facial features. The data comes from the I-CONECT, a behavioral intervention trial aimed at improving cognitive function by providing frequent video chats. MC-ViViT extracts spatiotemporal features of videos in one branch and augments representations by the MC module. The I-CONECT dataset is challenging as the dataset is imbalanced containing Hard-Easy and Positive-Negative samples, which impedes the performance of MC-ViViT. We propose a loss function for Hard-Easy and Positive-Negative Samples (HP Loss) by combining Focal loss and AD-CORRE loss to address the imbalanced problem. Our experimental results on the I-CONECT dataset show the great potential of MC-ViViT in predicting MCI with a high accuracy of 90.63% accuracy on some of the interview videos.