6月23日这一天, 格隆汇报道, 国内首个有关高考志愿填报场景的AI能力测评报告, 称为《高考志愿AI测评基准》, 于今日发布了。这份报告是由友松实验室独立打造完成的, 测评对象乃是千问高考志愿填报Agent。结果表明, 千问在多项方面的表现, 已然达到了人类志愿咨询师的水准, 并且在稳定性、精确性、结构化表达以及效率层面, 更具备优势。

测评涵盖四个环节, 分别为高考志愿的基本事实与规则, 模拟志愿填报, 开放式咨询, 志愿推荐报告, 这四个环节对应着考生以及家长在填报志愿时的主要流程, 即从查找资料、查看规则, 再到排列方案、做出决策。结果展示出来了, 在44道客观题里头, 千问全都答对了, 准确率是100%, 人类咨询师平均的正确率是89.3%；在模拟志愿填报这个事情上, 千问的方案里有6个可录取的志愿, 没有出现显性偏好被违背的情况, 并且命中了事后评估的最优结果, 人类咨询师平均是5.3个可录取志愿；在开放式咨询当中, 评审专家在100场匿名对比里面, 有58次更倾向于选择千问版本,“可直接向学生和家长展示的”可直接展示的比率为56.0%更多公务员考试网题库就点击这里, 比人类咨询师回答的33.0%要高, 认为它在专业路径拆解、风险提示以及表达清晰度方面更为稳定。

据报告表明, 于测评所设定的任务范畴之内, 千问的多项表现已然达到资深的人类咨询师水准, 特别是在稳定性方面, 在精确性方面, 在结构化表达方面, 以及在响应效率方面展现出优势。