arXiv reaDer
結局のところ、最後のニューロンのみが重要:シーングラフ生成のためのマルチモーダル融合関数の比較
After All, Only The Last Neuron Matters: Comparing Multi-modal Fusion Functions for Scene Graph Generation
オブジェクトのセグメンテーションから単語ベクトル表現まで、シーングラフ生成(SGG)は、多数の研究結果に基づいて構築された複雑なタスクになりました。このホワイトペーパーでは、このモデルの最後のモジュールであるフュージョン関数に焦点を当てます。この後者の役割は、3つの隠れた状態を組み合わせることです。さまざまな実装を比較するために、アブレーションテストを実行します。まず、SUM関数とGATE関数を使用して最先端の結果を再現します。次に、モデルに依存しない関数を追加して、元のソリューションを拡張します。DISTの適応バージョンと、MFBとGATEの混合です。最先端の構成に基づいて、DISTは最高のRecall @ Kを実行しました。これにより、DISTは最先端の一部になりました。
From object segmentation to word vector representations, Scene Graph Generation (SGG) became a complex task built upon numerous research results. In this paper, we focus on the last module of this model: the fusion function. The role of this latter is to combine three hidden states. We perform an ablation test in order to compare different implementations. First, we reproduce the state-of-the-art results using SUM, and GATE functions. Then we expand the original solution by adding more model-agnostic functions: an adapted version of DIST and a mixture between MFB and GATE. On the basis of the state-of-the-art configuration, DIST performed the best Recall @ K, which makes it now part of the state-of-the-art.
updated: Mon Nov 09 2020 21:27:32 GMT+0000 (UTC)
published: Mon Nov 09 2020 21:27:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト