首页 > 其他 > 详细

self-attention&Transformer

时间:2020-03-27 19:13:58      阅读:59      评论:0      收藏:0      [点我收藏+]

参考链接:https://zhuanlan.zhihu.com/p/47282410

在attention机制中有三种向量:Value vector(V,值向量),Key vector(K,键值向量),Query vector(Q,问题向量),self-attention中V和Q相同,都是自身,即建立输入的序列中每个元素和其他元素的关系(长度均为1),获得全局信息(Q、K、V来自于同一个目标)。在问答系统中,则Q来自于Question,V表示上下文,上下文的K和Q相乘再映射到V上进行解码(K、V来自于上下文,Q来自于question,不是来自于同一个目标)

self-attention&Transformer

原文:https://www.cnblogs.com/zf-blog/p/12582641.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!