首页 > 其他 > 详细

DAM模型

时间:2020-05-22 00:45:25      阅读:111      评论:0      收藏:0      [点我收藏+]

1.概述

  DAM用于处理一个连续型的问答问题,问题的答案存在于一个序列中,模型的目标是从待选择的答案中选出最合适的答案并给予评分。

2.模型结构

  技术分享图片

 

3.模型

  输入是若干个问题,和一个答案的集合,经过embeding形成字向量,词向量,和句子向量,然后经过多层的self-attention机制形成字,词,句子级三个不同粒度的向量。

  attentionMoudle

  技术分享图片

 

  公式:

    技术分享图片

 

 

  技术分享图片

 

  记作:

    技术分享图片

 

  在attentive过程中每一层和上一层的关系

    技术分享图片

 

  其中l代表粒度,i代表问题的序号。

  Matching过程

  对于上一层的输出,

    技术分享图片

 

      技术分享图片

 

      技术分享图片

 

 

  然后通过池化形成评分结果

    技术分享图片

 

 

      技术分享图片

 

 

 

 

 

 

 

 

 

 

  

 

DAM模型

原文:https://www.cnblogs.com/yangyang12138/p/12934474.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!