トレーニングデータの必要性を減らすために、一般的なAIアルゴリズムを使用して3Dシーンを理解する方法を探ります。より正確には、ノイズの多いRGB-Dスキャンからオブジェクトと部屋のレイアウトを取得するためのモンテカルロ木探索(MCTS)アルゴリズムの変更を提案します。 MCTSはゲームプレイアルゴリズムとして開発されましたが、複雑な知覚の問題にも使用できることを示しています。調整が簡単なハイパーパラメータがほとんどなく、一般的な損失を最適化できます。これを使用して、RGB-Dデータが与えられた場合のオブジェクトの事後確率と部屋のレイアウト仮説を最適化します。これにより、現在のソリューションをレンダリングし、それをRGB-D観測と比較することにより、ソリューション空間を探索する合成による分析アプローチが実現します。この探索をさらに効率的に実行するために、標準のMCTSのツリー構築および探索ポリシーに簡単な変更を提案します。 ScanNetデータセットでのアプローチを示します。私たちの方法は、特にレイアウトで、いくつかの手動注釈よりも優れた構成を取得することがよくあります。
We explore how a general AI algorithm can be used for 3D scene understanding in order to reduce the need for training data. More exactly, we propose a modification of the Monte Carlo Tree Search (MCTS) algorithm to retrieve objects and room layouts from noisy RGB-D scans. While MCTS was developed as a game-playing algorithm, we show it can also be used for complex perception problems. It has few easy-to-tune hyperparameters and can optimise general losses. We use it to optimise the posterior probability of objects and room layout hypotheses given the RGB-D data. This results in an analysis-by-synthesis approach that explores the solution space by rendering the current solution and comparing it to the RGB-D observations. To perform this exploration even more efficiently, we propose simple changes to the standard MCTS' tree construction and exploration policy. We demonstrate our approach on the ScanNet dataset. Our method often retrieves configurations that are better than some manual annotations especially on layouts.