深い畳み込みニューラルモデルを組み込んだモバイルおよびオンエッジアプリケーションの開発は、生物医学に革命を起こす可能性を秘めています。ただし、ほとんどの深層学習モデルには、スマートフォンやエッジデバイスでは利用できない計算リソースが必要です。コンパクトモデルで直面する可能性のある問題。このようなモデルの問題は、少なくとも通常、大きなモデルよりも精度が低いことです。この作業では、半教師あり学習手法を適用してこの制限にどのように対処できるかを研究します。生物医学のコンテキストで画像分類タスクに取り組むための半教師あり学習方法を使用してトレーニングされた場合のディープコンパクトアーキテクチャのパフォーマンスを比較するために、いくつかの統計分析を実施します。特に、コンパクトネットワークの3つのファミリと、10の生物医学的タスクのための半教師あり学習手法の2つのファミリを調査します。半教師あり学習法とコンパクトなネットワークを組み合わせることで、標準サイズのネットワークと同様のパフォーマンスを得ることができます。一般に、データ蒸留とMixNetを組み合わせ、プレーン蒸留とResNet-18を組み合わせると、最良の結果が得られます。また、一般に、NASネットワークは、手動で設計されたネットワークや量子化されたネットワークよりも優れた結果を取得します。このホワイトペーパーで紹介する作業は、半教師あり手法をコンパクトネットワークに適用することの利点を示しています。これにより、標準サイズのモデルと同じくらい正確であるだけでなく、より速く、より軽いコンパクトなモデルを作成することができます。最後に、半教師あり学習法を使用してコンパクトモデルの構築を簡素化するライブラリを開発しました。
The development of mobile and on the edge applications that embed deep convolutional neural models has the potential to revolutionise biomedicine. However, most deep learning models require computational resources that are not available in smartphones or edge devices; an issue that can be faced by means of compact models. The problem with such models is that they are, at least usually, less accurate than bigger models. In this work, we study how this limitation can be addressed with the application of semi-supervised learning techniques. We conduct several statistical analyses to compare performance of deep compact architectures when trained using semi-supervised learning methods for tackling image classification tasks in the biomedical context. In particular, we explore three families of compact networks, and two families of semi-supervised learning techniques for 10 biomedical tasks. By combining semi-supervised learning methods with compact networks, it is possible to obtain a similar performance to standard size networks. In general, the best results are obtained when combining data distillation with MixNet, and plain distillation with ResNet-18. Also, in general, NAS networks obtain better results than manually designed networks and quantized networks. The work presented in this paper shows the benefits of apply semi-supervised methods to compact networks; this allow us to create compact models that are not only as accurate as standard size models, but also faster and lighter. Finally, we have developed a library that simplifies the construction of compact models using semi-supervised learning methods.