AI News

多模态知识Agent怎么评:MKA基准实战指南

解析Google与Artificial Analysis推出的MKA评测,教企业用图纸、表格、报告和演示文稿测试多模态Agent。

多模态知识Agent怎么评:MKA基准实战指南

Google与Artificial Analysis推出Multimodal Knowledge Agent基准,专门测试Agent处理图纸、表格、报告和演示文稿等视觉复杂文件的能力。传统知识评测常能只靠文本完成,而真实工作需要理解页面布局、图例、公式、图表和跨文件关系。

MKA为什么更接近真实办公

任务覆盖商业、建筑、教育、工程、金融、医疗、法律、物流、科学和软件等领域。所有模型使用同一开源Agent框架、相同工具、沙箱和轮数预算,最终交付物由自动评分器打开文件、渲染页面并检查公式。公开10项样例,完整200项集合保持私有,减少训练数据泄漏。

企业如何建立自己的MKA

从历史工作中选择20个有明确答案的任务,例如根据PDF图纸生成材料表、核对财务模型公式、把调研数据做成演示文稿。删除客户隐私后,保存原始文件、专家结果、评分规则和允许工具。任务应包含模糊扫描、跨页引用和单位差异,不能只选干净样例。

评分不能只看最终文字

检查公式是否真实写入单元格、图表是否引用正确区域、PPT结论是否能追溯到来源、文件能否打开、格式是否满足要求。分别评分感知、推理、工具使用和交付质量。模型可能生成漂亮文档,但数字或引用错误。

效率同样重要

官方观察到不同模型完成同类任务平均使用30至130轮,说明质量接近时成本和耗时可能相差数倍。评测要记录轮数、Token、工具调用、失败恢复和人工修订时间,以每个合格交付物成本进行比较。

站内Gemini File Search多模态RAG适合资料检索,企业Agent治理数据指南可帮助设置权限。MKA关注的是从资料到最终文件的完整交付。

防止评测污染

公开样例用于调试格式,真实排名应使用未公开内部任务。提示词、工具和轮数保持一致,模型升级后重复测试。评分器本身也要用人工抽查,避免自动评分偏向某种格式。

结论

多模态Agent的价值不在“能看图片”,而在能否把复杂文件转成可核验成果。企业应建立自己的视觉文档评测集,再决定使用哪一个模型。

资料来源:Google MKA基准说明。

Next Reading

继续深入这个主题

从专题、教程和热门关键词继续阅读,帮助搜索引擎和读者理解文章之间的关系。

Gemini AI Agent 大模型 AI赚钱 开发者