首页 > 其他 > 详细

【论文笔记】Document Embedding Enhanced Event Detection with Hierarchical and Supervised Attention

时间:2019-12-24 21:17:24      阅读:129      评论:0      收藏:0      [点我收藏+]

背景

Challenge 1:
很难从孤立的句子中识别事件,因为同一个事件触发器可能在不同的上下文中表示不同的事件类型。
Challenge 2:
文档级信息对于ED也很重要,因为同一文档中的句子虽然可能包含不同类型的事件,但往往与文档的主题相关。
Challenge 3:
基于特征的方法有两大局限性。首先,其中使用的特征往往需要人工设计,可能涉及自然语言处理导致的错误传播;其次,它们通过构造推理规则来发现文档级的事件间信息,这既费时又难以使规则集尽可能完整。
Challenge 4:
由于受无监督训练过程的限制,文档级表示无法具体捕获与事件相关的信息。

模型

技术分享图片

EDODEL模块

单词级embeddings

\(g_{it}=[w_{it},e_{it}]\)
\(h_{it}=[GRU_w^→(g_{it}),GRU_w^←(g_{it})]\)
\(u_{it}=tanh(W_wh_{it})\)
\(α_{it}=u^T_{it}c_w\)
\(s_i=\sum^T_{t=1}α_{it}h_{it}\)
\(E_w(α^?,α)=\sum^L_{i=1}\sum^T_{t=1}(α^?_{it}-α_{it})^2\)

句子级embeddings

\(q_i=[GRU_s^→(s_i),GRU_s^←(s_i)]\)
\(t_i=tanh(W_sq_i)\)
\(β_i=t^T_ic_s\)
\(d=\sum^L_{i=1}β_is_i\)
\(E_s(β^?,β)=\sum^L_{i=1}(β^?_i-β_i)^2\)

DEED模块

\(r_{jt}=[w_{jt},e_{jt},d]\)
\(f_{jt}=[GRU_e^→(r_{jt}),GRU_e^←(r_{jt})]\)
\(J(y,o)=\sum^L_{j=1}\sum^T_{t=1}\sum^K_{k=1}I(y_{jt}=k)logo^{(k)}_{jt}\)

DEEB-RNN模型的联合训练

\(J(θ)=\sum_{?d∈?}(J(y,o)+λE_w(α^?,α)+μE_s(β^?,β))\)

实验

数据集和超参数

数据集:ACE2005
维数:hidden-size:$GRU_w$300, $GRU_s$200, $GRU_e$300, $W_w$600, $W_s$400, 实体50
batch-size:25
dropout:0.5

【论文笔记】Document Embedding Enhanced Event Detection with Hierarchical and Supervised Attention

原文:https://www.cnblogs.com/kisetsu/p/12092994.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!