6月18日消息，近日，南京大学周志华、创新工场冯霁等人提出了一种新型的软梯度提升机（sGBM），并基于此构建了新型的软梯度提升决策树（sGBDT），作为XGBoost的替代性模型。相比于传统的硬GBM，sGBM在准确度、训练时间和增量学习，多维度回归等多方面都有更优的表现。

他们研究的不是如何构建一个能像可微分程序一样工作的GBM，而是探索了如何构建能像不可微分的GBM 一样工作的可微分系统。软梯度提升机就是他们的探索成果。这种软版本的GBM是将多个可微分的基学习器连接在一起，受GBM启发，同时引入了局部损失与全局损失，使其整体结构可以得到联合优化。在此基础上，他们还提出使用软决策树（soft decision tree）来充当基学习器，在硬决策树不是最合适的选择时，软决策树对应的软梯度提升决策树就可被视为XGBoost的替代选择。