中文屋 Chinese Room

评测任务 Shared Tasks

本页面收录了由袁毓林教授研究团队发起或合作开展的技术评测任务。目前评测对象主要为大型语言模型。

This page presents the shared tasks initiated or jointly conducted by Prof. YUAN Yulin’s research team. At present, the primary focus of these tasks is large language model evaluation.

进行中 On-going

第二十五届中国计算语言学大会技术评测任务一 Shared Task 1 of the 25th China National Conference on Computational Linguistics (CCL 2026)

第二届中文叙实性推理评测

Factivity Inference Evaluation 2026 (FIE2026)

本任务聚焦中文叙实性推理能力评测，面向大语言模型与相关系统，关注模型在叙实性推理、事实判断与语义一致性方面的表现。
This task focuses on evaluating factivity inference in Chinese, targeting large language models and related systems, with special attention to their performance in factivity reasoning, factual judgment, and semantic consistency.

现已开放赛后常态注册与成绩提交，欢迎更多队伍继续参与评测并进入开放榜。
Post-competition registration and result submission are now continuously open. More teams are welcome to participate and join the open leaderboard.

任务网站 Website 报名参赛 Register Now

评测赛程 Evaluation Schedule

  • 2026年3月20日
    March 20, 2026     技术评测任务发布，发布参赛通知
    Shared task announcement and call for participation
  • 2026年3月20日
    March 20, 2026     正式比赛报名开放
    Competition registration opens
  • 2026年4月15日
    April 15, 2026     发布详细任务指南与训练数据
    Release of detailed task guidelines and training data
  • 2026年5月25日
    May 25, 2026     报名截止
    Registration deadline
  • 2026年6月11日
    June 11, 2026     发布测试数据
    Test data release
  • 2026年6月20日
    June 20, 2026     参赛队伍提交评测结果截止
    Deadline for participants to submit results
  • 2026年6月30日
    June 30, 2026     发布评测结果，并征集系统报告与会议论文
    Evaluation results released and call for system reports and conference papers
  • 长期开放
    Ongoing     赛后常态注册与成绩提交，符合要求的队伍进入开放榜
    Post-competition registration and result submission; eligible teams will join the open leaderboard
第十五届自然语言处理与中文计算国际会议共享任务六 Shared Task 6 of The 15th CCF International Conference on Natural Language Processing and Chinese Computing (NLPCC 2026)

第二届大语言模型生成文本检测评测

The Second Evaluation on LLM-Generated Text Detection

任务网站 Website
第十五届自然语言处理与中文计算国际会议共享任务八 Shared Task 8 of The 15th CCF International Conference on Natural Language Processing and Chinese Computing (NLPCC 2026)

叙实性推理一致性攻击评测

Factivity Inference Inconsistency Attack (FIIA)

任务网站 Website

已完成 Completed

第二十四届中国计算语言学大会技术评测任务四 Shared Task 4 of the 24th China National Conference on Computational Linguistics (CCL 2025)

第一届中文叙实性推理评测任务

Factivity Inference Evaluation 2025 (FIE2025)

任务网站 Website
第十四届自然语言处理与中文计算国际会议共享任务一 Shared Task 1 of The 14th CCF International Conference on Natural Language Processing and Chinese Computing (NLPCC 2025)

第一届大型语言模型生成文本检测

LLM-Generated Text Detection

任务网站 Website