博客
关于我
EMNLP 2018 | 从对话生成和文本风格转化看文本生成技术
阅读量:184 次
发布时间:2019-02-28

本文共 1019 字,大约阅读时间需要 3 分钟。

腾讯AI Lab在EMNLP 2018的文本生成研究

文本风格转化:QuaSE模型的引入

腾讯AI Lab与香港中文大学合作推出了QuaSe(Quant化指导下的序列编辑)模型,旨在解决生成与给定数值相匹配的句子研究问题。该模型通过量化指标引导进行序列编辑,可以扩展到诸如CTR引导下的新闻标题和摘要生成、广告描述生成等业务场景。QuaSe模型通过VAE(变分自编码器)架构,设计了两个Encoder和一个Decoder,能够在给定句子及其数值评分下生成与目标数值相匹配的句子。

研究问题

论文的主要任务是根据给定的句子及其数值评分(如Yelp平台的用户评价),生成与目标数值相匹配的句子,同时保持原句的主要内容。研究的挑战包括:

  • 给定的数值可以是连续值(如2.5、3.7等),缺少人工标注的成对样本。
  • 模型需要识别句子中与数值相关的语义单元。
  • 在数值指导下进行句子编写时,需保持原句的主要内容。
  • 模型框架

    QuaSe模型包含单句建模和序列编辑两个部分。单句建模通过VAE建模隐变量Z和Y,表示句子内容及其数值属性。序列编辑部分设计了三个目标函数:

  • L_diff:关联句子内容变化与数值变化。
  • L_sim:保持句子内容的相似性。
  • L_d-rec:实现双向生成过程的重建。
  • 实验分析

    实验基于Yelp用户评论和打分数据,分为两部分:

  • 验证任意数值指导下的句子改写能力,通过MAE和Edit Distance指标衡量性能。
  • 与相关文本风格转换模型对比,评估改写效果。实验结果显示,QuaSe模型生成的句子质量高,预测数值与目标数值接近,且句子内容保持较好。
  • 基于统计重加权的对话生成

    腾讯AI Lab与武汉大学、苏州大学合作提出了一种新型神经对话模型,旨在减少通用回复(如“我不知道”、“我也是”)生成的频率。该模型通过引入权重调整损失函数,优化输出序列的多样性和长度,显著降低通用回复的生成频率。

    论文方法

    本文基于Seq2Seq模型,通过引入权重调整损失函数,优化输出序列的多样性和长度,从而减少通用回复的生成。实验基于700万高质量的对话句对,保留500个输入作为测试集,聘请3个评测人员对回复的通顺度、相关性等方面进行评测。结果表明,该方法在保持句子通顺度的同时,显著提高了回复的相关性。

    通过QuaSe模型和基于统计重加权的对话生成方法,腾讯AI Lab在文本生成研究领域取得了重要进展,为自然语言处理技术的实用应用提供了新的思路。

    转载地址:http://gxlj.baihongyu.com/

    你可能感兴趣的文章
    Openlayers图文版实战,vue项目从0到1做基础配置
    查看>>
    Openlayers实战:modifystart、modifyend互动示例
    查看>>
    Openlayers实战:判断共享单车是否在电子围栏内
    查看>>
    Openlayers实战:加载Bing地图
    查看>>
    Openlayers实战:绘制图形,导出geojson文件
    查看>>
    Openlayers实战:绘制图形,导出KML文件
    查看>>
    Openlayers实战:绘制多边形,导出CSV文件
    查看>>
    Openlayers实战:绘制带箭头的线
    查看>>
    Openlayers实战:输入WKT数据,输出GML、Polyline、GeoJSON格式数据
    查看>>
    Openlayers高级交互(10/20):绘制矩形,截取对应部分的地图并保存
    查看>>
    Openlayers高级交互(11/20):显示带箭头的线段轨迹,箭头居中
    查看>>
    Openlayers高级交互(14/20):汽车移动轨迹动画(开始、暂停、结束)
    查看>>
    Openlayers高级交互(15/20):显示海量多边形,10ms加载完成
    查看>>
    Openlayers高级交互(16/20):两个多边形的交集、差集、并集处理
    查看>>
    Openlayers高级交互(17/20):通过坐标显示多边形,计算出最大幅宽
    查看>>
    Openlayers高级交互(19/20): 地图上点击某处,列表中显示对应位置
    查看>>
    Openlayers高级交互(2/20):清除所有图层的有效方法
    查看>>
    Openlayers高级交互(20/20):超级数据聚合,页面不再混乱
    查看>>
    Openlayers高级交互(3/20):动态添加 layer 到 layerGroup,并动态删除
    查看>>
    Openlayers高级交互(4/20):手绘多边形,导出KML文件,可以自定义name和style
    查看>>