用Gemini Decision 1构建内容审核、模型路由和质量评分,包含数据设计、阈值、灰度与监控。
为什么需要专门的决策模型
很多业务并不需要生成一段长答案,而是要判断“是否违规”“应该调用哪个工具”“属于哪一类”“质量是否达标”。Gemini Decisions API由Gemini Decision 1驱动,可对同一份文本、图片、音频、视频或PDF一次提出最多1000个封闭问题,并返回选项概率和置信度。官方给出的延迟约150到250毫秒,输入每百万Token 0.1美元且不计输出Token。它适合高频、边界明确的判断,但不能替代需要解释、谈判或开放式推理的生成模型。
先把问题设计成可判定形式
不要直接问“这条内容好不好”,应拆成可验证维度,例如是否包含个人信息、是否存在夸大承诺、是否与分类匹配、是否需要人工复核。每道题给出互斥选项、判定说明和反例,避免选项重叠。准备一批由两名以上人员标注的样本,保留争议项。对于退款、封号、医疗等高风险场景,决策结果只能作为建议,不能直接触发不可逆动作。
三个可落地场景
内容平台可先判断广告、低质、涉敏和重复风险,再把高风险样本送人工;Agent平台可根据任务类型在搜索、数据库、代码执行等工具之间路由,并在置信度不足时拒绝调用;模型网关可先判断任务难度,把简单问题交给低成本模型、复杂问题升级到前沿模型。每个场景都要定义默认安全分支,例如无结果、低置信度或接口超时统一进入人工或保守处理。
阈值和灰度怎么设
先离线计算准确率、召回率、误杀率和漏放率,再按业务损失设置阈值。广告过滤更关注召回,账户处罚更关注降低误杀,工具路由则要同时看任务成功率和成本。上线初期只记录结果不执行动作,对比现有规则两周;随后开放5%低风险流量,逐步扩大。不要把单一概率当作绝对真相,应观察不同语言、图片质量、长文本和边界案例下的校准偏差。
工程与安全注意事项
请求侧应设置最大文件大小、允许的媒体类型、超时和批次上限,结果侧保存模型版本、问题版本、选项概率、阈值和最终处理人。题目一旦修改就创建新版本,不能覆盖历史规则,否则无法解释旧决策。敏感资料在上传前脱敏,访问日志设置保留期。若置信度突然整体升高或降低,可能是输入分布变化或模型版本变化,应自动告警并回到影子模式。
站内相关阅读
参考来源
官方资料与技术说明。本文基于公开资料独立整理,并结合实际部署流程补充,功能、价格和可用范围以官方最新页面为准。