文本生成已成为自然语言处理 (NLP) 中最重要但最具挑战性的任务之一。 深度学习的复兴通过神经生成模型,尤其是预训练语言模型 (PLM) 的范式,极大地推动了这一领域的发展。 在本文中,我们概述了在用于文本生成的 PLM 主题中取得的主要进展。 作为准备工作,我们介绍了一般任务定义并简要描述了用于文本生成的 PLM 的主流架构。 作为核心内容,我们讨论了如何调整现有的 PLM 以对不同的输入数据进行建模并满足生成文本的特殊属性。 我们进一步总结了几个重要的文本生成微调策略。 最后,我们提出了几个未来的方向并总结了本文。 我们的调查旨在为文本生成研究人员提供相关研究的综合和指针。
09月
22