人間の姿勢推定のための効率的な高解像度ネットワーク、Lite-HRNetを紹介します。まず、ShuffleNetの効率的なシャッフルブロックをHRNet(高解像度ネットワーク)に適用するだけで、MobileNet、ShuffleNet、SmallHRNetなどの一般的な軽量ネットワークよりも高いパフォーマンスが得られます。シャッフルブロックで頻繁に使用される点ごと(1x1)の畳み込みが、計算上のボトルネックになることがわかりました。シャッフルブロックのコストのかかる点ごと(1x1)畳み込みを置き換えるために、軽量ユニットである条件付きチャネル重み付けを導入します。チャネルの重み付けの複雑さは、チャネルの数に対して線形であり、点ごとの畳み込みの2次時間の複雑さよりも低くなります。私たちのソリューションは、HRNetの並列ブランチですぐに利用できる複数の解像度にわたって、すべてのチャネルから重みを学習します。重みをブリッジとして使用して、チャネルと解像度間で情報を交換し、点ごと(1x1)の畳み込みが果たす役割を補正します。 Lite-HRNetは、一般的な軽量ネットワークよりも人間の姿勢推定で優れた結果を示します。さらに、Lite-HRNetは、同じ軽量な方法でセマンティックセグメンテーションタスクに簡単に適用できます。コードとモデルはhttps://github.com/HRNet/Lite-HRNetで公開されています。
We present an efficient high-resolution network, Lite-HRNet, for human pose estimation. We start by simply applying the efficient shuffle block in ShuffleNet to HRNet (high-resolution network), yielding stronger performance over popular lightweight networks, such as MobileNet, ShuffleNet, and Small HRNet. We find that the heavily-used pointwise (1x1) convolutions in shuffle blocks become the computational bottleneck. We introduce a lightweight unit, conditional channel weighting, to replace costly pointwise (1x1) convolutions in shuffle blocks. The complexity of channel weighting is linear w.r.t the number of channels and lower than the quadratic time complexity for pointwise convolutions. Our solution learns the weights from all the channels and over multiple resolutions that are readily available in the parallel branches in HRNet. It uses the weights as the bridge to exchange information across channels and resolutions, compensating the role played by the pointwise (1x1) convolution. Lite-HRNet demonstrates superior results on human pose estimation over popular lightweight networks. Moreover, Lite-HRNet can be easily applied to semantic segmentation task in the same lightweight manner. The code and models have been publicly available at https://github.com/HRNet/Lite-HRNet.