Qoder Cloud Agents在2026年11月2日发布持续评测框架，针对一个常见问题：Agent试跑五次都成功，上线后却可能不查数据、声称生成了不存在的文件，或因为一处提示修改让旧能力退化。框架把评测案例、Agent配置、执行环境、轨迹、响应与产物、评估器和基线分别记录，形成“发现问题—改进—回归—继续发现”的闭环。
为什么最终回答不能代表完成
Agent可能说“报告已生成”，但文件根本不存在；也可能答案正确，却没有调用规定的数据源。评测必须同时检查最终文本、工具调用、文件变化和环境状态。若任务要求创建表格，就应确认文件存在、能打开、字段正确，而不是只用语言模型判断回答看起来是否专业。
一个评测案例应该包含什么
案例包括输入、附件、初始环境、成功条件和禁止事项。成功条件在执行结束后再交给评估器，避免Agent提前看到答案。每项指标独立评分，例如事实正确、工具使用、格式、耗时和安全。可以从QwenWork二十类真实工作流提取业务样例，再把实际失败补充为回归案例。
为什么同一案例要重复运行
模型具有随机性，一次通过不能说明稳定。官方建议使用pass@k和pass^k等指标：前者关注多次尝试至少成功一次，后者关注连续多次都成功。生产流程更应重视连续稳定，而不是最好一次。关键任务可重复三到五次，并控制模型版本、温度、工具和环境，使结果具有可比性。
模型评估器与Agent评估器怎么分工
文字质量、完整性等主观问题可由模型评估器初筛；需要打开文件、运行代码或检查环境的任务，应由独立Agent或确定性脚本验收。数字、Schema、测试结果优先使用程序规则。评估器本身也可能误判，因此保留评分依据并抽样人工复核，不能用一个模型给另一个模型打分就宣称客观。
如何避免测试影响生产
在生产Agent副本上做版本化评测，使用干净且互相隔离的执行环境。测试凭据只访问测试数据，禁止向真实客户发送消息。高并发运行要限制预算和外部接口频率。多模型Harness治理方法可用于统一执行环境，工具层权限控制则防止评测Agent越权。
从五个失败案例开始
不需要等到拥有完美数据集。先收集五个已经发生的错误，写出可检查的成功条件并保存基线。每次修改提示、Skill、工具或模型后自动回归。上线会话用于发现异常信号，例如工具调用错误、时间信息错误和轨迹过长，再把高价值问题转成离线案例。评测资产会随着业务持续增长。
资料来源与使用说明
本文基于Qoder Cloud Agents持续评测官方文章公开资料重新整理，并结合实际部署、数据治理和成本控制给出原创分析。功能、价格、地区和开放范围可能变化，实施前请核对官方文档。原始资料：Qoder Cloud Agents持续评测官方文章。
