首页 > 其他 > 详细

Kaldi的交叉熵正则化

时间:2017-09-09 22:57:47      阅读:478      评论:0      收藏:0      [点我收藏+]

xent_regularize, Cross Entropy Regularize

nnet3/nnet-discriminative-trainning.cc:109

void NnetDiscriminativeTrainer::ProcessOutputs()

   

交叉熵正则化,即帧平滑

《解读深度学习:语音识别实践》8.2.3 帧平滑

   

当正确地进行词图补偿后,进行几次序列鉴别性训练的迭代后,就会很快出现过拟合。即,几次鉴别性训练迭代后,模型计算出的帧准确率(帧的后验概率)显著变差(比原模型)。这要归咎与帧序列比帧的维度高,那么,训练时估计出的后验概率是处于帧序列的层次,而解码时估计出的后验概率是处于帧的层次,

Kaldi的交叉熵正则化

原文:http://www.cnblogs.com/JarvanWang/p/7499611.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!