スパース条件付き確率場(CRF)は、構造化された予測のためのコンピュータービジョンと自然言語処理における強力な手法です。ただし、大規模なアプリケーションでスパースCRFを解決することは依然として困難です。この論文では、トレーニングプロセス中に無関係な特徴を識別して削除するために、正確な二重最適推定を活用する新しい安全な動的スクリーニング方法を提案します。したがって、問題のサイズを継続的に減らすことができ、最終的に学習したモデルの精度を犠牲にすることなく、計算コストを大幅に節約できます。私たちの知る限り、これは、静的スクリーニング法から動的スクリーニングまで、双対問題の強い凸面と複雑な構造を注意深く調査して活用することにより、双対最適推定手法を導入する最初のスクリーニング法です。このようにして、静的および動的スクリーニング方法の両方の利点を吸収し、それらの欠点を回避することができます。私たちの推定は、双対性のギャップに基づいて開発されたものよりもはるかに正確であり、これははるかに強力なスクリーニングルールに貢献します。さらに、私たちの方法は、まばらなCRFや構造予測モデルでさえも最初のスクリーニング方法でもあります。合成データセットと実世界のデータセットの両方での実験結果は、私たちの方法によって得られたスピードアップが重要であることを示しています。
Sparse Conditional Random Field (CRF) is a powerful technique in computer vision and natural language processing for structured prediction. However, solving sparse CRFs in large-scale applications remains challenging. In this paper, we propose a novel safe dynamic screening method that exploits an accurate dual optimum estimation to identify and remove the irrelevant features during the training process. Thus, the problem size can be reduced continuously, leading to great savings in the computational cost without sacrificing any accuracy on the finally learned model. To the best of our knowledge, this is the first screening method which introduces the dual optimum estimation technique -- by carefully exploring and exploiting the strong convexity and the complex structure of the dual problem -- in static screening methods to dynamic screening. In this way, we can absorb the advantages of both the static and dynamic screening methods and avoid their drawbacks. Our estimation would be much more accurate than those developed based on the duality gap, which contributes to a much stronger screening rule. Moreover, our method is also the first screening method in sparse CRFs and even structure prediction models. Experimental results on both synthetic and real-world datasets demonstrate that the speedup gained by our method is significant.