知識の蒸留 (KD) は、ディープ ニューラル ネットワークを高速化するための優れたアプローチであり、事前にトレーニングされた大容量ネットワーク (教師) のソフトマックス出力を模倣することにより、コンパクトなネットワーク (学生) がトレーニングされます。伝統的に、KD は通常、トレーニング サンプルへのアクセスと、転送された知識を取得するためのホワイト ボックス教師のパラメーターに依存しています。ただし、実際のアプリケーションでのストレージ コストやプライバシーの問題のため、これらの前提条件は必ずしも現実的ではありません。ここでは、意思決定に基づくブラックボックス (DB3) の知識蒸留の概念を提案します。これにより、学生は、ソフトマックス出力ではなくクラスのみを返すブラックボックス教師 (パラメータにはアクセスできません) から知識を抽出することによってトレーニングされます。トレーニング セットにアクセスできる場合のシナリオから始めます。教師の決定境界までの距離を計算することにより、他のクラスに対するサンプルの堅牢性を表し、それを使用して各トレーニング サンプルのソフト ラベルを作成します。その後、学生は標準の KD を介してトレーニングできます。次に、このアプローチを、トレーニング データにアクセスすることさえ不可能な、より困難なシナリオに拡張します。教師の決定境界によって最大限に区別される疑似サンプルを生成し、それらのソフト ラベルを作成して、転送セットとして使用することを提案します。さまざまなベンチマーク ネットワークとデータセットに対するアプローチを評価し、実験結果でその有効性を実証しています。コードは https://github.com/zwang84/zsdb3kd で入手できます。
Knowledge distillation (KD) is a successful approach for deep neural network acceleration, with which a compact network (student) is trained by mimicking the softmax output of a pre-trained high-capacity network (teacher). In tradition, KD usually relies on access to the training samples and the parameters of the white-box teacher to acquire the transferred knowledge. However, these prerequisites are not always realistic due to storage costs or privacy issues in real-world applications. Here we propose the concept of decision-based black-box (DB3) knowledge distillation, with which the student is trained by distilling the knowledge from a black-box teacher (parameters are not accessible) that only returns classes rather than softmax outputs. We start with the scenario when the training set is accessible. We represent a sample's robustness against other classes by computing its distances to the teacher's decision boundaries and use it to construct the soft label for each training sample. After that, the student can be trained via standard KD. We then extend this approach to a more challenging scenario in which even accessing the training data is not feasible. We propose to generate pseudo samples distinguished by the teacher's decision boundaries to the largest extent and construct soft labels for them, which are used as the transfer set. We evaluate our approaches on various benchmark networks and datasets and experiment results demonstrate their effectiveness. Codes are available at: https://github.com/zwang84/zsdb3kd.