ML モデルは、多くの場合、ML モデルが不確実な場合 (安全なデフォルトにフォールバックしたり、ループ内に人間が介在するなど) に応答を適応させたりできる大規模なシステムのコンテキスト内で動作します。この一般的に遭遇する運用上のコンテキストでは、ML モデルをトレーニングするための原則に基づいた手法が必要であり、不確実な場合は予測を控えるオプションがあります。選択的ニューラル ネットワークは、棄権するための統合オプションを使用してトレーニングされるため、自信を持って予測できるデータ分布のサブセットを認識して最適化することを学習できます。ただし、選択的ネットワークの最適化は、バイナリ選択関数 (予測するか棄権するかの個別の決定) の非微分可能性のために困難です。このホワイト ペーパーでは、Gumbel-softmax の再パラメータ化のトリックを活用して、エンドツーエンドの微分可能なトレーニング フレームワーク内での選択を可能にする、選択的ネットワークをトレーニングするための一般的な方法を紹介します。公開データセットでの実験は、選択的な回帰と分類のための Gumbel-softmax 選択的ネットワークの可能性を示しています。
ML models often operate within the context of a larger system that can adapt its response when the ML model is uncertain, such as falling back on safe defaults or a human in the loop. This commonly encountered operational context calls for principled techniques for training ML models with the option to abstain from predicting when uncertain. Selective neural networks are trained with an integrated option to abstain, allowing them to learn to recognize and optimize for the subset of the data distribution for which confident predictions can be made. However, optimizing selective networks is challenging due to the non-differentiability of the binary selection function (the discrete decision of whether to predict or abstain). This paper presents a general method for training selective networks that leverages the Gumbel-softmax reparameterization trick to enable selection within an end-to-end differentiable training framework. Experiments on public datasets demonstrate the potential of Gumbel-softmax selective networks for selective regression and classification.