画像キャプションの研究分野は現在、End-of-Sequence トークンに対する透明性と認識の欠如によって侵害されています ( )セルフクリティカルシーケンストレーニングで。もしトークンが省略されている場合、モデルは些細な文の断片を使用してパフォーマンスを +4.1 CIDEr-D まで高めることができます。この現象は、確立された研究の公正な評価と比較に障害をもたらしますが、新しいプロジェクトに携わる人々は、研究の競争的な性質により、より低いスコアか不十分な記述の間で難しい選択を迫られます。この作品は、問題自体の認識を広めることによって問題を解決することを提案しています。特に、SacreEOS と呼ばれるライブラリを使用して、シンプルで有益な署名を共有する将来の作業を推奨します。コードはhttps://github.com/jchenghu/sacreeosで入手可能https://github.com/jchenghu/sacreeos
The Image Captioning research field is currently compromised by the lack of transparency and awareness over the End-of-Sequence token () in the Self-Critical Sequence Training. If the token is omitted, a model can boost its performance up to +4.1 CIDEr-D using trivial sentence fragments. While this phenomenon poses an obstacle to a fair evaluation and comparison of established works, people involved in new projects are given the arduous choice between lower scores and unsatisfactory descriptions due to the competitive nature of the research. This work proposes to solve the problem by spreading awareness of the issue itself. In particular, we invite future works to share a simple and informative signature with the help of a library called SacreEOS. Code available at https://github.com/jchenghu/sacreeoshttps://github.com/jchenghu/sacreeos