1. A basic LSTM decoder.
每次的输出值就是下一次的输入值, 第一次的输入值就是 encoder 产生的 Context Vector. Encoder最后输出的 hidden state 通常用来初始化 Decoder的 $y_{0}$.
基本公式:
\[y_{0} = LSTM(s_{0}, C);\]
$C$ 就是encoder 产生的 context vector.
\[y_t = LSTM(s_{t-1}, y_{t-1});\]
$s$ 是LSTM的 hidden state 状态 LSTM ($h$ and $c$).
\[s_t=[h_t,c_t]\]
various Sequence to Sequence Model
原文：http://www.cnblogs.com/ZJUT-jiangnan/p/5414732.html