コンピュータ断層撮影(CT)の技術的進歩により、膨大な量の3Dデータを取得できるようになりました。このようなデータセットの場合、ニューラルネットワークをトレーニングするための正確な3Dセグメンテーションマークアップを取得するには、非常にコストと時間がかかります。注釈は通常、限られた数の2Dスライスに対して行われ、その後に補間が行われます。この作業では、事前トレーニング方法SortingLossを提案します。ボリュームではなくスライスに対して事前トレーニングを実行するため、補間ステップなしで、モデルをスライスのスパースセットで微調整できます。一般的な方法(例:SimCLRまたはBarlow Twins)とは異なり、タスク固有の方法(例:Transferable Visual Words)は、入力データにより強い仮定を課すことにより、品質上の利点と幅広い適用性を交換します。ボリュームのある軸に沿っていくつかのスライスを取得する場合、それらのスライスに提示されるサンプルの構造は、軸に沿ったそれらのスライスの正しい順序を再構築するための強力な手がかりを与えるはずです。多くの生物医学データセットは、サンプルの特定の解剖学的構造とイメージング設定の事前定義された配置により、この要件を満たしています。 COVID-19病に冒された肺の医療CTとモデル生物(メダカ)の高解像度シンクロトロンベースの全身CTの2つのデータセットで提案された方法を調べます。提案された方法がSimCLRと同等に機能し、2倍速く動作し、1.5倍少ないメモリを必要とすることを示します。さらに、実際のシナリオ、特に大規模モデルの事前トレーニングへの適用性と、教師なし設定でボリューム内のサンプルをローカライズする機能の観点から利点を示します。
The technical advances in Computed Tomography (CT) allow to obtain immense amounts of 3D data. For such datasets it is very costly and time-consuming to obtain the accurate 3D segmentation markup to train neural networks. The annotation is typically done for a limited number of 2D slices, followed by an interpolation. In this work, we propose a pre-training method SortingLoss. It performs pre-training on slices instead of volumes, so that a model could be fine-tuned on a sparse set of slices, without the interpolation step. Unlike general methods (e.g. SimCLR or Barlow Twins), the task specific methods (e.g. Transferable Visual Words) trade broad applicability for quality benefits by imposing stronger assumptions on the input data. We propose a relatively mild assumption -- if we take several slices along some axis of a volume, structure of the sample presented on those slices, should give a strong clue to reconstruct the correct order of those slices along the axis. Many biomedical datasets fulfill this requirement due to the specific anatomy of a sample and pre-defined alignment of the imaging setup. We examine the proposed method on two datasets: medical CT of lungs affected by COVID-19 disease, and high-resolution synchrotron-based full-body CT of model organisms (Medaka fish). We show that the proposed method performs on par with SimCLR, while working 2x faster and requiring 1.5x less memory. In addition, we present the benefits in terms of practical scenarios, especially the applicability to the pre-training of large models and the ability to localize samples within volumes in an unsupervised setup.