arXiv reaDer
An Alternative Probabilistic Interpretation of the Huber Loss
Huber損失は、さまざまな回帰タスクに使用される堅牢な損失関数です。 Huber損失を利用するには、2次関数から絶対値関数への遷移を制御するパラメーターを選択する必要があります。 Huber損失をHuber密度に関連付ける標準的な確率論的解釈では、遷移点を特定するための適切な直感が得られないと考えています。その結果、適切な値を決定するためにハイパーパラメータ検索が必要になることがよくあります。この作業では、Huber損失の代替確率的解釈を提案します。これは、損失の最小化を、ラプラス分布間のカルバックライブラー発散の上限の最小化に関連付けます。ここで、一方の分布はグラウンドトゥルースのノイズを表し、もう一方の分布は予測のノイズを表します。さらに、ラプラス分布のパラメーターがHuber損失の遷移点に直接関連していることを示します。トイプロブレムを通じて、Huber損失の最適な遷移点がグラウンドトゥルースデータのノイズの分布と密接に関連していることを示します。その結果、私たちの解釈は、データ内のノイズの量を概算することにより、適切なハイパーパラメータを識別する直感的な方法を提供します。これは、FasterR-CNNおよびRetinaNetオブジェクト検出器のケーススタディと実験を通じて実証されています。
The Huber loss is a robust loss function used for a wide range of regression tasks. To utilize the Huber loss, a parameter that controls the transitions from a quadratic function to an absolute value function needs to be selected. We believe the standard probabilistic interpretation that relates the Huber loss to the Huber density fails to provide adequate intuition for identifying the transition point. As a result, a hyper-parameter search is often necessary to determine an appropriate value. In this work, we propose an alternative probabilistic interpretation of the Huber loss, which relates minimizing the loss to minimizing an upper-bound on the Kullback-Leibler divergence between Laplace distributions, where one distribution represents the noise in the ground-truth and the other represents the noise in the prediction. In addition, we show that the parameters of the Laplace distributions are directly related to the transition point of the Huber loss. We demonstrate, through a toy problem, that the optimal transition point of the Huber loss is closely related to the distribution of the noise in the ground-truth data. As a result, our interpretation provides an intuitive way to identify well-suited hyper-parameters by approximating the amount of noise in the data, which we demonstrate through a case study and experimentation on the Faster R-CNN and RetinaNet object detectors.
updated: Wed Nov 18 2020 19:27:22 GMT+0000 (UTC)
published: Tue Nov 05 2019 21:15:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト