深度神经网络的初始化不应该只做一次
读完彩票假设和超级掩模，结合一些强化学习和传统模拟退火算法的经验，有所感悟。
BP过程只是在不断加强初始化时靠运气碰到的那些好的结构/权重组合，而那些可以被掩模删掉的路径呢？如果持续，渐进的再随机初始化，是否能挖掘出新的黑马呢？
自由经济的实践中，这个假设是成立的，会有持续的新公司诞生，其中的部分是适应时代的，会壮大。
再次大胆猜测，给模型权重周期性的引入一些再随机将大大改善参数利用率，规律满足：
在超级掩模论文中所述会被保留的权重，其引入的随机扰动小。
在超级掩模论文中所述会被遮蔽的权重，其引入的随机扰动大。
这个随机量的大小之间是连续的，特性服从模拟退火算法，兼顾创新与传统。
预期参数效率可以再提高一个数量级。
争取抽时间验证一下。
原文：https://www.cnblogs.com/robird/p/11022402.html