本文是针对谷歌Transformer模型的解读,根据我自己的理解顺序记录的。
另外,针对Kyubyong实现的tensorflow代码进行解读,代码地址https://github.com/Kyubyong/transformer
首先是Layer Normalization部分,和Batch Normalization有点不一样,
Transformer解析与tensorflow代码解读
原文:https://www.cnblogs.com/zhouxiaosong/p/11032431.html