ディープ ニューラル ネットワークは、さまざまな回帰問題に使用されます。ただし、特殊なアプローチと、出力ラベルの二乗誤差または絶対誤差を最小化することによってネットワークをトレーニングする一般的な直接回帰との間には、精度に大きなギャップが存在します。以前の研究では、一連の二項分類器を使用して回帰問題を解くと、十分に研究された二項分類アルゴリズムを利用することで精度が向上することが示されています。ターゲット値をエンコードするときに任意のマルチビット値を考慮するためのフレームワークを提供することにより、回帰へのバイナリ分類の適用を一般化するバイナリ エンコード ラベル (BEL) を導入します。理論的および経験的研究に基づいて、実数値ラベルとバイナリ エンコード ラベル間の変換に使用される適切なエンコードおよびデコード関数の望ましい特性を特定します。これらのプロパティは、ラベル エンコーディングの分類エラー確率とエラー訂正機能の間のトレードオフを強調しています。 BEL は、既製のタスク固有の特徴抽出器と組み合わせて、エンドツーエンドでトレーニングすることができます。 BEL の一連のサンプル エンコーディング、デコーディング、およびトレーニング損失関数を提案し、それらが直接回帰および特殊なアプローチよりもエラーが少なく、さまざまな回帰問題、ネットワーク アーキテクチャ、および評価メトリックに適していることを示します。 BEL は、いくつかの回帰ベンチマークで最先端の精度を達成しています。コードは https://github.com/ubc-aamodt-group/BEL_regression で入手できます。
Deep neural networks are used for a wide range of regression problems. However, there exists a significant gap in accuracy between specialized approaches and generic direct regression in which a network is trained by minimizing the squared or absolute error of output labels. Prior work has shown that solving a regression problem with a set of binary classifiers can improve accuracy by utilizing well-studied binary classification algorithms. We introduce binary-encoded labels (BEL), which generalizes the application of binary classification to regression by providing a framework for considering arbitrary multi-bit values when encoding target values. We identify desirable properties of suitable encoding and decoding functions used for the conversion between real-valued and binary-encoded labels based on theoretical and empirical study. These properties highlight a tradeoff between classification error probability and error-correction capabilities of label encodings. BEL can be combined with off-the-shelf task-specific feature extractors and trained end-to-end. We propose a series of sample encoding, decoding, and training loss functions for BEL and demonstrate they result in lower error than direct regression and specialized approaches while being suitable for a diverse set of regression problems, network architectures, and evaluation metrics. BEL achieves state-of-the-art accuracies for several regression benchmarks. Code is available at https://github.com/ubc-aamodt-group/BEL_regression.