画像セグメンテーションに使用される典型的なニューラル ネットワーク アーキテクチャは、さらにトレーニングを行わないと変更できません。ネットワークは強力なサーバーだけでなく、モバイル デバイスやエッジ デバイスでも実行される可能性があるため、これは非常に制限的です。適応型ニューラル ネットワークは、トレーニング プロセスの完了後に特定の適応性を許可することで、問題を解決します。この作業では、初めて、画像セグメンテーションのタスクに Post-Train Adaptive (PTA) アプローチを適用します。 U-Net+PTA ニューラル ネットワークを導入します。これは、一度トレーニングすると、さまざまなデバイス パフォーマンス カテゴリに適応できます。このアプローチの 2 つの重要な要素は、PTA ブロックと PTA サンプリング トレーニング戦略です。トレーニング後の構成は、モバイルを含む任意の推論デバイスで実行時に行うことができます。また、PTA アプローチにより、CamVid データセットの画像セグメンテーション Dice スコアを改善することができました。最終的なトレーニング済みモデルは、実行時に、推論時間と品質が異なる 6 つの PTA 構成の間で切り替えることができます。重要なのは、すべての構成が元の U-Net (PTA なし) モデルよりも優れた品質を持っていることです。
Typical neural network architectures used for image segmentation cannot be changed without further training. This is quite limiting as the network might not only be executed on a powerful server, but also on a mobile or edge device. Adaptive neural networks offer a solution to the problem by allowing certain adaptivity after the training process is complete. In this work for the first time, we apply Post-Train Adaptive (PTA) approach to the task of image segmentation. We introduce U-Net+PTA neural network, which can be trained once, and then adapted to different device performance categories. The two key components of the approach are PTA blocks and PTA-sampling training strategy. The post-train configuration can be done at runtime on any inference device including mobile. Also, the PTA approach has allowed to improve image segmentation Dice score on the CamVid dataset. The final trained model can be switched at runtime between 6 PTA configurations, which differ by inference time and quality. Importantly, all of the configurations have better quality than the original U-Net (No PTA) model.