欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
Google AI使用RigL算法改善稀疏训练
2020-09-17
机器之心
14
9月17日消息,Google AI在最新技术博客中介绍了一种用于训练稀疏神经网络的算法RigL,该算法在整个训练过程中使用固定的参数计数和计算成本,而不会牺牲相对于现有的密集/稀疏的训练方法。该算法识别出在训练过程中哪些神经元应该处于活动状态,这有助于优化过程利用最相关的连接并获得更好的稀疏解。例如,在MNIST上训练多层感知器(MLP)网络的过程中,研究人员经过RigL训练的稀疏网络学会了专注于图像的中心,从边缘丢弃了无用的像素。