English
当前您的位置: 当前位置: 首页 > 新闻动态 > 正文

我院蒋智威老师课题组在文本质量评估领域再获新进展

发布日期:2023-07-25 浏览量:

我院蒋智威老师课题组在文本质量评估领域取得新进展,其成果分别被自然语言处理顶级国际会议The 61st Annual Meeting of the Association for Computational Linguistics(ACL2023, CCF-A类会议)以及信息检索领域顶级国际会议 The 46th International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR2023, CCF-A类会议)长文录用。

三篇发表论文分别为:

1. Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning。该研究旨在改进自动作文评分(AES)模型的泛化能力,使其在未见过的作文提示上表现更好。为此,提出了一种提示敏感的神经AES模型,用于提取作文评分的全面表示,包括提示不变和提示特定的特征。同时,设计并引入了解耦表示学习框架,通过基于模角对齐的对比学习策略和基于反事实数据的自训练策略来解耦表示中的提示不变信息和提示特定信息。在ASAP和TOEFL11数据集上进行的大量实验结果表明了该方法在领域泛化设置下的有效性。该论文发表在ACL2023会议上,欢迎对该研究感兴趣的同行来信交流:jzw@nju.edu.cn。

2. Aggregating Multiple Heuristic Signals as Supervision for Unsupervised Automated Essay Scoring。该研究贡献了一种名为ULRA的新型无监督式自动作文评分(AES)方法。ULRA的核心思想是使用多个启发式质量信号作为伪真实标签,然后通过学习这些信号的聚合来训练神经AES模型。为了将这些不一致的质量信号聚合为统一的监督,ULRA将AES任务视为排序问题,并使用特殊的Deep Pairwise Rank Aggregation(DPRA)损失进行训练。在DPRA损失中,每个信号都有一个可学习的置信权重来解决冲突,并通过成对训练方式来解开部分排序对之间的级联效应。在ASAP数据集上的实验结果表明,ULRA在无监督方法中表现优异,与许多领域自适应的监督模型相比也具有可比性,充分展示了其有效性。该论文发表在ACL2023会议上,欢迎对该研究感兴趣的同行来信交流:jzw@nju.edu.cn。

3. Unsupervised Readability Assessment via Learning from Weak Readability Signals。该研究提出了一种新颖的无监督可读性评估框架(LWRS),旨在评估文本的阅读难度,而无需使用手动标记的数据进行模型训练。该框架通过一组启发式信号来描述文本的不同可读性方面,从而指导模型输出可读性分数进行排序。相比于依赖标记数据的方法,LWRS 的多信号学习模型能够有效利用多个启发式信号进行模型训练,并采用成对排序范式来降低偏序对之间的级联耦合。此外,研究还提出了一种基于信号共识分布的策略,用于确定最具代表性的可读性信号。实验结果表明,LWRS优于每个启发式信号及其组合,并且在一些情况下表现与一些监督方法相当。此外,LWRS在一个数据集上训练后,还能有效地应用于其他数据集,包括其他语言的数据集,具有良好的泛化能力和广泛应用的潜力。该论文发表在SIGIR2023会议上,欢迎对该研究感兴趣的同行来信交流:jzw@nju.edu.cn。


苏州校区

地址:苏州市太湖大道 1520 号

邮编:215163    邮箱:ise@nju.edu.cn

版权所有:南京大学智能软件与工程学院Copyright © All Rights Reserverd

网站制作:南京大学智能软件与工程学院