arXiv reaDer
Sim2SG:転移学習のためのSim-to-Realシーングラフ生成
Sim2SG: Sim-to-Real Scene Graph Generation for Transfer Learning
シーングラフ(SG)の生成は、最近大きな注目を集めています。ただし、現在のSG生成手法は、高価で限られた数のラベル付きデータセットの可用性に依存しています。ラベルは基本的に無料であるため、合成データは実行可能な代替手段を提供します。ただし、合成データでトレーニングされたニューラルネットワークモデルは、ドメインギャップのため、実際のデータではうまく機能しません。この課題を克服するために、シーングラフ生成のためのsimからrealへの転送のためのスケーラブルな手法であるSim2SGを提案します。 Sim2SGは、ドメインのギャップを2つのドメイン間の外観、ラベル、および予測の不一致に分解することで対処します。これらの不一致は、疑似統計ベースの自己学習と敵対的な手法を導入することで処理されます。 Sim2SGは、実際のデータセットからのコストのかかる監視を必要としません。私たちの実験は、定性的および定量的の両方でドメインギャップを削減する上でベースラインを大幅に改善することを示しています。おもちゃのシミュレーターと、実際のデータで評価された現実的なシミュレーターでのアプローチを検証します。
Scene graph (SG) generation has been gaining a lot of traction recently. Current SG generation techniques, however, rely on the availability of expensive and limited number of labeled datasets. Synthetic data offers a viable alternative as labels are essentially free. However, neural network models trained on synthetic data, do not perform well on real data because of the domain gap. To overcome this challenge, we propose Sim2SG, a scalable technique for sim-to-real transfer for scene graph generation. Sim2SG addresses the domain gap by decomposing it into appearance, label and prediction discrepancies between the two domains. We handle these discrepancies by introducing pseudo statistic based self-learning and adversarial techniques. Sim2SG does not require costly supervision from the real-world dataset. Our experiments demonstrate significant improvements over baselines in reducing the domain gap both qualitatively and quantitatively. We validate our approach on toy simulators, as well as realistic simulators evaluated on real-world data.
updated: Mon Nov 30 2020 01:21:55 GMT+0000 (UTC)
published: Mon Nov 30 2020 01:21:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト