我々は、マルチタスク ハイパーグラフの形式でそのような表現間の関係を利用することにより、小さなラベル付きセットが与えられた複数のシーン表現を学習する方法を提示します。また、ラベル付きデータを追加せずに、ハイパーグラフを使用して強力な事前トレーニング済み VisTransformer モデルを改善する方法も示します。私たちのハイパーグラフでは、各ノードはシーンの解釈層 (深度またはセグメンテーションなど) です。各ハイパーエッジ内で、1 つまたは複数の入力ノードが出力ノードのレイヤーを予測します。したがって、各ノードは、一部のハイパーエッジでは入力ノードとなり、他のハイパーエッジでは出力ノードになる可能性があります。このようにして、複数のパスが同じノードに到達してアンサンブルを形成し、そこから堅牢な擬似ラベルを取得できます。これにより、ハイパーグラフでの自己教師あり学習が可能になります。私たちはさまざまなアンサンブル モデルとさまざまなタイプのハイパーエッジをテストし、現場の他のマルチタスク グラフ モデルよりも優れたパフォーマンスを示しました。また、Dronescapes も紹介します。Dronescapes は、現実世界のさまざまな複雑なシーンで UAV を使用してキャプチャされ、マルチタスク学習に適した複数の表現を備えた大規模なビデオ データセットです。
We present a method for learning multiple scene representations given a small labeled set, by exploiting the relationships between such representations in the form of a multi-task hypergraph. We also show how we can use the hypergraph to improve a powerful pretrained VisTransformer model without any additional labeled data. In our hypergraph, each node is an interpretation layer (e.g., depth or segmentation) of the scene. Within each hyperedge, one or several input nodes predict the layer at the output node. Thus, each node could be an input node in some hyperedges and an output node in others. In this way, multiple paths can reach the same node, to form ensembles from which we obtain robust pseudolabels, which allow self-supervised learning in the hypergraph. We test different ensemble models and different types of hyperedges and show superior performance to other multi-task graph models in the field. We also introduce Dronescapes, a large video dataset captured with UAVs in different complex real-world scenes, with multiple representations, suitable for multi-task learning.