Kakao公布Kanana-2-v-decide后,最值得落地的方向不是替代聊天模型,而是把Agent反复进行的工具选择、是否执行和优先级评分交给专用决策层。
先定义可枚举动作
例如客服Agent可选择“直接回答、检索订单、查询物流、转人工、拒绝”;内容系统可选择“发布、退回、人工审核”。候选必须互斥或明确允许多选,描述使用稳定业务术语。
不要把“执行任意命令”作为候选。决策模型只提供建议,权限网关仍需检查用户身份、资源范围和动作风险。
候选嵌入缓存怎么用
模型对每个输入和候选分别编码,固定候选的向量可跨请求缓存。工具列表稳定时,缓存能减少重复计算;当工具描述、权限或版本变化时必须使用新缓存键,不能沿用旧向量。
每个租户若工具和策略不同,应隔离缓存。缓存中不保存用户敏感输入,只保存候选token或经过批准的公共描述。
图像决策的预处理
上传图片先应用EXIF方向、转换RGB、控制像素和长宽比。透明PNG需确认白底合成后是否丢失浅色内容;极端长图切片后分别判断,再由规则合并。
建立包含模糊图、旋转图、低光和遮挡的测试集。可参考AI视觉评测标签偏差案例,由领域人员独立标注,避免把旧模型预测当真值。
阈值与监控
先在历史数据上绘制准确率、覆盖率和人工量随阈值变化的曲线。低风险路由可提高自动覆盖,高风险审批应提高准确率要求并保留人工。
上线后监控类别分布漂移、概率异常集中、人工推翻率和工具失败率。若输入分布与训练数据明显不同,应停止自动执行而不是盲目调低阈值。
落地结论
模型能否进入生产,最终取决于真实任务成功率、成本、可维护性和失败后的处置能力。建议使用脱敏业务样本建立固定回归集,记录模型版本、提示、参数、硬件与人工修订;涉及对外发送、生产写入、用户权益和不可逆动作时,必须保留权限校验、人工确认、审计日志与回退方案。
资料来源:Kakao Kanana-2-v-decide官方发布。本文根据公开资料独立整理,并加入工程落地分析;模型发布方的性能数据按其公开口径表述。