论文基本信息
- 2019 | NIPS | Discrete Flows: Invertible Generative Models of Discrete Data | Dustin Tran et al.
- 代码链接
背景
- 尽管标准化流在建模高维连续分布上取得了重要进步，但它们在离散分布上的应用还是未知的
提出的方法
- 流可扩展到离散事件：在一个不要计算对数雅可比行列式log-determinant-Jacobian的变量改变公式change-of-variables formula下
- 考虑两种流架构
- 离散自回归流：允许双向bidirectionality，如文本里的tokens在语言模型中既依赖从左到右left-to-right的又依赖从右到左right-to-left的上下文
- 离散二部bipartite流：允许有效的非自回归生成(和RealNVP一样)
实验
- 离散自回归流在合成离散分布、加法任务和Potts模型上优于自回归基线
- 对于所有与离散自回归流相关的实验，使用自回归类基分布Categorical base distribution(第一个流以逆序被应用；这样的设置允许我们和具有0个流的自回归基的基线比较它的双向优点)
- 二部流在字符水平语言建模上(Penn Tree Bank和text8)能得到和自回归基线有竞争力的性能
- 对于所有与离散二部流相关的实验，使用分解类基分布factorized Categorical base distribution，二部流依次遮蔽偶数维和奇数维
- 我们实现并提供离散流作为贝叶斯层[1]的一部分
- 字符水平Penn Tree Bank
- 字符水平text8
参考文献
- [1] 2019 | NIPS | Bayesian layers: A module for neural network uncertainty | Dustin Tran et al.
DiscreteFlows
原文：https://www.cnblogs.com/yao1996/p/14403638.html
