在最近几年里，深度学习 （Deep Learning, DL）在自然语言处理领域不断攻城略地，使得过去被认为很难取得突破的研究方向的难度有所降低，其中最为人们所津津乐道案例的当属 Sequence-to-Sequence (S2S) 在对统计机器翻译（Statistical Machine Translation, SMT）领域的颠覆性突破，进而产生了全新的基于神经网络的机器翻译（Neural Machine Translation, NMT）范式[1, 2]。这个新范式的影响甚至已经波及到了其他相关领域，其中就包括本文即将讨论的生成式自动聊天系统（Generation based Chatting System）[3, 4, 5]。
通常认为自动聊天系统（Automatic Chatting Systems）可以通过两种技术路线实现：一种是将信息检索系统构建于大规模对话数据集之上，通过建立有效的问句匹配和问答相关度量化模型实现对用户 query的合理回复[6]，本文不做赘述；另一种技术路线则试图通过构建端到端（End-to-End）的深度学习模型，从海量对话数据中自动学习 query 和 response 之间的语义关联，从而达到对于任何用户 query 都能够自动生成回复的目的。如果说基于信息检索的技术路线偏重工程实现的话，那么基于生成的技术路线则显得更加学术。