首页 > 其他 > 详细

学习笔记(7)- 基于LSTM的对话模型

时间:2020-02-11 13:34:47      阅读:90      评论:0      收藏:0      [点我收藏+]

LSTM based Conversation Models
本文介绍一种会话语言模型,结合了局部、全局的上下文,以及参与者的角色。

问题提出者 倾向于用“任何人”、“如何”来提出问题。

问题回答者 倾向于使用指令性词汇(you, you’re)、模糊限制语(may, might)和与解决问题相关的词汇(sudo, check)。

Luan, Yi , Y. Ji , and M. Ostendorf . "LSTM based Conversation Models." (2016).

Yi Luan1, Yangfeng Ji2, Mari Ostendorf1
华盛顿大学,佐治亚理工学院

笔记

Most similar to our work is the Semantic Controlled LSTM (SC-LSTM) proposed by Wan et al. [11], where a Dialogact component is introduced into the LSTM cell to guide the generated content.

In this work, we utilize the role information to bias response generation without modifying LSTM cells.

POSTER:对话中的用户,通过提出一个技术问题来初始化对话;
RESPONDER:试图提供技术支持的其他用户。

没有过滤掉表情符号,而是把它们当作单个标记。

训练了一个LDA模型,超参数是:单词向量K、隐层维度H、LDA模型的主题的个数M。

使用网格搜索,使用困惑度在开发集优化模型,使用随机梯度下降初始化学习率。

评估的方法是Recall@K,并预留了\(n\)-gram,为以后的工作打基础。

学习笔记(7)- 基于LSTM的对话模型

原文:https://www.cnblogs.com/xuehuiping/p/12205379.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!