Property Finder发现评测标签中96.8%直接继承自旧模型预测，导致任何新模型都天然处于劣势；重建专家真值集后，新的视觉模型在准确率提升的同时将成本降低约86%。
问题不是模型而是答案表
团队每天处理数万张房产图片，检查水印、房间类型、装修状态和画质等11项属性。原评测集大部分标签由生产模型生成，错误也被标记为正确，例如水印文字幻觉和遗漏字符。新模型与旧模型行为不同，就会被误判为性能下降。
这是一种循环评测：用旧模型写答案，再用答案证明旧模型最好。任何准备替换模型的团队都应先追问标签来源、是否独立、谁审核以及是否覆盖真实边界。
如何重建可信真值集
案例由领域专家独立标注356张阿联酋图片，不查看旧模型输出；前256张用于开发，后续100张用于扩展评估，并另有埃及数据做跨区域检查。对同时出现多个房间的图片改用多标签，避免强迫标注者选择唯一答案。
样本应覆盖地区、设备、光线、罕见类别和模糊情况。标注指南先小规模试做，讨论分歧后再批量执行。测试集中的一部分永远不能用于提示调优，否则最终分数仍会乐观。
指标应该怎么选
Micro F1反映整体预测，Macro F1防止高频类别掩盖罕见类别；每标签精确率和召回率用于定位问题；多标签任务使用交并比；单标签属性再看完全匹配。不能只报一个平均准确率。
错误分析按水印、旋转、房间、施工状态等业务维度拆分。站内Agent持续评测指南同样强调固定回归集与真实失败样本，模型评测应贯穿上线前后。
提示优化和成本结果
团队从通用提示迭代到包含领域定义、结构化输出、区域文字规则和多标签规范的版本，并使用错误样本指导下一轮。Llama 4 Maverick在开发集Micro F1从0.75提升到约0.81，最终生产方案同时降低成本；这些数字受样本和调优影响，不可直接外推。
企业应计算每千样本成本、人工复核率和错误业务损失，而不是只看API单价。模型分歧可作为送人工复核的信号，但需要先验证它是否真正覆盖高风险错误。
落地结论
真正可用的AI系统必须同时满足任务有效、数据可控、成本可解释和失败可回退。建议先用真实且脱敏的小样本建立基线，再逐步开放工具与自动化权限；任何涉及生产修改、外部发送、医疗科研结论或资金的动作，都应保留人工审批和完整审计。
资料来源：AWS：Fix evaluation bias to unlock better models on Amazon Bedrock。本文依据公开资料重新整理，并结合工程实践给出操作建议；厂商公布的性能和案例数据不等同于独立第三方验证。
