[Arxiv#1] Feb. 12, 2020

1. 对话生成

image-20200212193553412

  • 摘要:互信息通过建模response和context的双向依赖(log p(y|x)和log p(x|y)),解决开放域对话生成中的空响应问题。本文提出使用非自回归的生成模型解决了非全局优化问题,因为目标序列通过非自回归的方式生成。
image-20200212195158806

2. 机器翻译

image-20200212200435610

  • 摘要:本文提出两种策略解决非自回归模型中的问题。第一是Look Around,通过预测周围的tokens来预测自己,第二是Vocabulary Attention,关注字典来获得下一个单词生成什么的信息。
image-20200212200953005

3. 语言模型(MIT CSAIL)

image-20200212201512842

  • 摘要:提出了Blank Language Model,动态得挖空还有填空。在风格迁移中也取得了不错的效果。

image-20200212201841426

4. 文本风格迁移

image-20200212204110503

  • 摘要:本文模型对数据没有假设,使用一个递归语言模型作为先验和一个编码器-解码器作为transduction distribution。

image-20200212205337571