2026年10月15日至18日,第二十五届中国计算语言学大会(The 25th China National Conference on Computational Linguistics, CCL 2026)在湖北省宜昌市隆重举行。本次大会由中国中文信息学会(CIPS)主办,武汉大学与三峡大学联合承办,是国内自然语言处理领域规模最大、最具影响力的学术盛会。澳门大学人文学院袁毓林教授课题组联合南京师范大学文学院李斌教授课题组,于大会的技术评测论坛发布了一项面向大模型语义理解能力的评测任务——任务一:第二届中文叙实性推理评测(FIE2026)。袁毓林教授课题组丛冠良博士与寻天琦博士生代表团队赴宜昌参会,并在评测论坛上就该任务的组织与实施情况作了汇报。
中国计算语言学大会创办于1991年,由中国中文信息学会计算语言学专业委员会组织,历经三十余载深耕,现已成为国内展示计算语言学前沿学术与技术成果的主要论坛,亦被广泛誉为全国最具权威性、最具影响力、规模最大的自然语言处理学术殿堂。本届CCL以“智能语言,计算未来”为宗旨,为期四天,涵盖特邀报告、专题论坛、技术评测、海报展示及系统展示等多元学术环节,吸引了来自国内外顶尖校企的数千名学者齐聚一堂、共襄盛举。
本届技术评测论坛共设置了14个评测任务,涵盖语义、篇章与语用分析,跨语言、小语种与低资源自然语言处理,知识图谱,自然语言处理与医疗、教育、人文等领域的结合应用,以及生成式AI与大模型核心能力。“任务一:第二届中文叙实性推理评测”聚焦大模型在真实语境中通过文本线索获取相关会话主体的心理状态、认知和态度的能力。这是袁毓林教授与李斌教授课题组在CCL平台上联合推出的第二项技术评测任务。
叙实性推理(Factivity Inference, FI)是一种跟事件真实性判断有关的语义理解任务,是真实性推理(Factuality Inference, FactI)的一种形式。在人类的会话交际中,叙实性推理能力主要表现为语言使用者可以从某些动词性语言成分(如“相信”“谎称”“意识到”等)的使用获取说话人和句子主语的心理状态,并据此推定相关事件的真实性(真还是假)。例如,从肯定句“他们意识到局面已经不可挽回”和相应的否定句“他们没有意识到局面已经不可挽回”上,都可以推理出在说话人眼中存在这样一个事实:“局面已经不可挽回”。为进一步提升大型语言模型对中文的语义理解能力,实现机器对人类交际话语的深度理解,联合课题组在FIE2025的基础上继续推出了“第二届中文叙实性推理评测任务”。
相较FIE2025,本届任务重点考察了大模型在不同真实语境中的叙实性推理表现有何差异。特别是,当叙实性结构中存在不同的否定词、不同的否定意愿、不同的评价性状语、不同人称和数量类型的主语,以及存在多声性标记和被动化标记等复杂语境条件下,模型的叙实性推理表现如何。例如:从“我不能相信他竟是一个八十多岁的老人”,可以推出“他是一个八十多岁的老人”大概率为真;而从“我不能相信人可以长生不老”,可以推出“人可以长生不老”大概率为假。
在数据集构建方面,本届评测使用了全新设计的真实语料数据集。所有语料均甄选自北京大学CCL语料库,历经严苛的人工核对与精细改编。其中,样例集包含635条数据,正式测试集达2958条,覆盖了501个中文叙实性动词和8种语言学操作。
在数据标注方式上,本届评测在传统自然语言推理所使用的三分标注方案的基础上,创新性地增加了一个“置信度”维度,即要求被测试者在判断给定句对之间的叙实性关系类型的基础上,还要给出叙实性强弱程度的百分比评价。为匹配这种二维的数据标注模式,本届评测同时设计了九分类的梯度匹配式记分机制,依据机器作答与专家标注的偏离程度进行梯度赋分,并按各队历史最高微平均得分作为最终排名依据。
赛程方面,任务分别于今年4月及5月发布两批样例集,6月6日至13日正式开放测试。赛事反响热烈,共吸引39支队伍踊跃竞逐,累计收到824次有效提交,共有7支队伍获奖。阿里云平台为优胜队伍提供了1万元的奖金赞助。
值得一提的是,本届任务所依托的评测网站平台(fie2026.chineseroom.hk)由袁毓林教授课题组成员自主搭建与运维。该平台平稳承载了高并发的结果提交与自动化计分工作,为赛事的圆满落幕提供了坚实的技术基石。
评测结束后,组织方共收到19篇系统报告论文投稿,最终有6篇获得会议正式录用,有1篇获得海报展示。在16日的评测论坛上,袁毓林教授课题组的丛冠良博士介绍了任务一的总体情况;之后,两个赛道排名第一的队伍分别登台,就其前沿技术路径与创新方法作了精彩的汇报交流与学术分享。
FIE2026的组织实施是袁毓林教授课题组科研成果在国内顶尖计算语言学舞台上的一次集中展示,也为理论语言学与计算语言学的深度合作提供了一个成功的实践范例。未来,袁毓林教授团队将继续在CCL评测论坛上推出更多语言推理评测任务,为推动语言学研究实验化与大模型评测科学化发展提供新的助力。