ディープ畳み込みニューラルネットワーク(CNN)、つまり残余ネットワーク(ResNets)は、多くのコンピュータービジョンタスクで正常に使用されていますが、3Dボリューム医療データにスケーリングすることは困難です。 3D畳み込みニューラルネットワーク(CNN)をトレーニングする場合、メモリがボトルネックになることがますます多くなっています。最近、バックプロパゲーションを実行するために中間アクティベーションをメモリに格納せずに出力から入力を取得できる可逆関数のおかげで、バックプロパゲーションでニューラルネットワークをトレーニングするときにアクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されています。多くの成功したネットワークアーキテクチャの中で、3DUnetはボリューム医療セグメンテーションの標準アーキテクチャとして確立されています。したがって、非可逆ネットワークのベースラインとして3D Unetを選択し、それを可逆残差ネットワークで拡張します。この論文では、可逆残余ネットワークの2つのバージョン、つまり部分的に可逆な残余ネットワーク(Partially-InvRes)と完全に可逆な残余ネットワーク(Fully-InvRes)を提案しました。 Partially-InvResでは、可逆残差層は加法結合と呼ばれる手法で定義されますが、Fully-InvResでは、スクイーズ(ピクセルシャッフルと呼ばれます)に基づいて可逆アップサンプリングとダウンサンプリングの両方の操作が学習されます。さらに、トレーニングデータが少ないことによる過剰適合の問題を回避するために、変分オートエンコーダ(VAE)ブランチが追加され、入力ボリュームデータ自体が再構築されます。私たちの結果は、部分的/完全に可逆的なネットワークをボリュームセグメンテーションの中心的な主力として使用することにより、メモリオーバーヘッドを削減するだけでなく、非可逆3DUnetと比較して互換性のあるセグメンテーションパフォーマンスを実現することを示しています。 iSeg2019やBraTS2020などのさまざまなボリュームデータセットで提案されたネットワークを示しました。
Deep Convolutional Neural Networks (CNNs) i.e. Residual Networks (ResNets) have been used successfully for many computer vision tasks, but are difficult to scale to 3D volumetric medical data. Memory is increasingly often the bottleneck when training 3D Convolutional Neural Networks (CNNs). Recently, invertible neural networks have been applied to significantly reduce activation memory footprint when training neural networks with backpropagation thanks to the invertible functions that allow retrieving its input from its output without storing intermediate activations in memory to perform the backpropagation. Among many successful network architectures, 3D Unet has been established as a standard architecture for volumetric medical segmentation. Thus, we choose 3D Unet as a baseline for a non-invertible network and we then extend it with the invertible residual network. In this paper, we proposed two versions of the invertible Residual Network, namely Partially Invertible Residual Network (Partially-InvRes) and Fully Invertible Residual Network (Fully-InvRes). In Partially-InvRes, the invertible residual layer is defined by a technique called additive coupling whereas in Fully-InvRes, both invertible upsampling and downsampling operations are learned based on squeezing (known as pixel shuffle). Furthermore, to avoid the overfitting problem because of less training data, a variational auto-encoder (VAE) branch is added to reconstruct the input volumetric data itself. Our results indicate that by using partially/fully invertible networks as the central workhorse in volumetric segmentation, we not only reduce memory overhead but also achieve compatible segmentation performance compared against the non-invertible 3D Unet. We have demonstrated the proposed networks on various volumetric datasets such as iSeg 2019 and BraTS 2020.