2-1 英伟达在自然语言生成领域的最新研究进展.pdf

《2-1 英伟达在自然语言生成领域的最新研究进展.pdf》由会员分享，可在线阅读，更多相关《2-1 英伟达在自然语言生成领域的最新研究进展.pdf（32页珍藏版）》请在三个皮匠报告上搜索。

1、英伟达在自然语言生成领域的最新进展齐家兴 英伟达 高级解决方案架构师|01多角色生成式对话建模02借助合成数据训练问答模型目录|01多角色生成式对话建模背景生成式闲聊对话|闲聊式对话系统有两类方法：检索式和生成式生成式方法具有灵活性和创造性，能生成风格丰富的内容。可控性稍差，内容风格多变，或者生成无聊的内容添加说话人或者情感，但需要大量的标注数据。背景|让模型基于某个说话人之前的对话内容，去生成风格一致的新的内容。通过自动测评和人工测评，我们发现这种方法比之前的方法有更好的可控性，能生成更合适的对话回复。增加模型尺寸，从117M 到 3.8B，模型越大，对话效果越好。方法GPT-2 自回归语言

2、模型|GPT-2模型自回归式逐个token生成基于之前对话内容，生成新一轮对话方法添加目标说话人历史对话|提取目标说话人在数据集中的对话历史借助额外的对话历史作为输入的一部分，控制模型生成的内容风格模型结构与步骤|模型:生成式对话控制模型(Generative Conversation Control model,GCC)结构：GPT-2主要步骤：确定想要模仿的说话人（风格），从数据集中提取他的历史对话作为参考将参考和当前对话的已有的内容输入给模型自回归式的对话生成模型输入格式|举例说明模型输入：三人(A,B,C)的四轮对话(A1,B,A2,C)说话人A的历史对话，作为参考说话人C的历史对话，

3、作为参考目标多轮对话数据ADD RELATED TITLE WORDS|从pushshift.io下载了Reddit 论坛里的网友提问和回复，作为对话数据训练集：2018.10 2019.3测试集：2019.4数据ADD RELATED TITLE WORDS|树形论坛回复，转换为多人序列对话形式按经验设定条件清洗数据，保证对话数据的多人，有效和丰富性。对每位网友，保存最多8条回复。实际平均每人7.1条。对比实验自动测试与人工测试|使用基于困惑度的自动测试，对比几种不同的 baseline 模型结构：Decoder-only:GCC-DECSeq2Seq baseline:GCC-S2SVar

4、iational Autoencoder baseline：GCC-VAENo Reference Context baseline:GCC-NRC以及预训练是否有帮助之后再进行人工测试，测评生成对话的实际效果。结果模型结构对比|基于困惑度（PPL）的测试对比不同模型结构和大小结果预训练的影响|基于困惑度（PPL）的测试是否使用预训练(P.T.)模型的对比测试测试模型参数量的影响|不同模型大小的困惑度测试人工评价对话生成质量|基于PPL的自动测试之后，我们又进行了人工测评，从多个维度评价生成对话的质量：真实度风格一致性内容质量连贯性方法：给定一段真实的N轮对话的前N-1轮内容，最后一轮对话是不

5、同的实现方式（模型生成或者真实的）。把两种方式的对话都展示给测评者，让其对比。测试对话生成质量|总结|传统的生成式对话存在风格不可控的问题。借助目标说话人的历史对话，可以让生成式模型生成风格更一致的对话内容。借助 Reddit 论坛获取真实网友的回帖作为对话训练数据。通过自动测试和人工评测，对比了多种模型结构和大小，结果显示基于decoder结构的模型效果最好，并且效果随着模型参数增大会进一步提升。|02借助合成数据训练问答模型背景|深度学习高度依赖标注数据半监督学习：在已有数据上训练一个模型，再用它去标注新数据但是对于问答任务来说，合成数据的质量与人工标注数据还有一定差距。背景|我们希望能借

6、助生成模型，在给定的一个文档集合上，用合成的方式来生成问题与答案，从而作为一种数据增强的方式来帮助更好的训练问答模型在 SQUAD 1.1 测试集上，我们使用纯合成数据训练而来的模型达到比使用训练集标注数据的模型的精度更好。更进一步，我们尝试在生成文本上，再生成问答对，这样的合成数据能用来finetune模型，达到真实文本上相近的精度。方法完整流程|问答生成pipeline合成问答数据Finetune BERT QAEM&F1 on squad dev标注数据，比如Squad 纯文本，比如wikipedia方法答案