マルチインスタンス学習は、特に生物医学画像処理において、コンピュータビジョンタスクで一般的です。マルチインスタンス学習の従来の方法は、特徴集約方法とマルチインスタンス分類器の設計に重点を置いており、集約操作は特徴抽出フェーズまたは学習フェーズのいずれかで実行されます。ディープニューラルネットワーク(DNN)は、自動特徴学習を介して画像処理で大きな成功を収めているため、マルチインスタンス学習のために、特定の特徴集約メカニズムを一般的なDNNアーキテクチャに組み込む必要があります。さらに、柔軟性と信頼性は、さまざまな品質とインスタンス数に対処するための重要な考慮事項です。本研究では、HAMILと呼ばれるマルチインスタンス学習のための階層的集約ネットワークを提案します。階層型集約プロトコルにより、定義された順序での特徴融合が可能になり、単純な畳み込み集約ユニットにより、効率的で柔軟なアーキテクチャが実現します。 2つの顕微鏡画像分類タスク、すなわち免疫蛍光画像を使用したタンパク質細胞内局在化と空間遺伝子発現画像を使用した遺伝子注釈のモデル性能を評価します。実験結果は、HAMILが、これら2つのタスクに対処するための最先端の機能集約方法および既存のモデルよりも優れていることを示しています。視覚化分析は、高品質のインスタンスに焦点を当てるHAMILの能力も示しています。
Multi-instance learning is common for computer vision tasks, especially in biomedical image processing. Traditional methods for multi-instance learning focus on designing feature aggregation methods and multi-instance classifiers, where the aggregation operation is performed either in feature extraction or learning phase. As deep neural networks (DNNs) achieve great success in image processing via automatic feature learning, certain feature aggregation mechanisms need to be incorporated into common DNN architecture for multi-instance learning. Moreover, flexibility and reliability are crucial considerations to deal with varying quality and number of instances. In this study, we propose a hierarchical aggregation network for multi-instance learning, called HAMIL. The hierarchical aggregation protocol enables feature fusion in a defined order, and the simple convolutional aggregation units lead to an efficient and flexible architecture. We assess the model performance on two microscopy image classification tasks, namely protein subcellular localization using immunofluorescence images and gene annotation using spatial gene expression images. The experimental results show that HAMIL outperforms the state-of-the-art feature aggregation methods and the existing models for addressing these two tasks. The visualization analyses also demonstrate the ability of HAMIL to focus on high-quality instances.