Dhīr 5B采用MoE结构,总参数约50.9亿、每次激活约17.9亿;它不是简单把2B放大,而是在相近推理负担下增加专家容量,面向数学、代码和工具调用。
MoE参数应该怎么看
总参数决定模型能够容纳多少知识与模式,激活参数更接近单次推理计算量。Dhīr 5B约50.9亿总参数,但每个token激活约17.9亿参数,这让它有机会在边缘设备上保持较丰富能力。不过路由、内存访问和框架实现都会影响实际速度,不能仅凭“激活参数小于2B”推断它一定更快。
官方公布4位文件约2.95GB、16位约10.19GB,明显高于2B版本。部署时还要预留KV缓存、运行时和系统内存,不能按模型文件大小直接配置机器。上下文越长、并发越高,额外内存越多。
2B与5B的选择规则
若任务主要是分类、短摘要、固定知识问答和简单翻译,先选2B;若包含多步工具调用、代码生成、数学推导和复杂指令,才考虑5B。真正有效的选型方法是让两者跑同一测试集,计算“每个正确任务的成本”,而不是只比较每秒token。
Agent任务还要测工具参数是否完整、调用顺序是否正确、失败后能否停止。可借鉴Agent权限漏洞测试清单,为文件、网络、数据库和命令执行分别设置白名单,绝不能因为模型在本地运行就默认赋予全部权限。
边缘Agent的推荐架构
用户请求先经过意图识别与权限校验,模型只负责生成结构化计划;工具网关校验参数后执行;结果返回模型生成解释;高风险动作等待人工确认。工具返回应简短、结构化并带错误码,避免把整段系统日志塞回上下文造成误判。
对于代码助手,可以把仓库规则、允许修改目录和验收命令写成固定技能,再让模型按步骤执行。站内Qwen Code Skills与执行轨迹指南中的“先计划、再修改、最后验收”同样适用于小模型Agent。
如何避免部署后失控
每个工具设置调用次数、超时、最大结果和预算;每次执行保留输入摘要、模型版本、工具参数、返回码和人工确认记录。对删除、转账、发信、发布内容等动作采用二次确认,并允许一键撤销。模型连续两次调用失败应停止,而不是无限重试。
上线后按任务类型观察成功率,不要只看总体平均值。若5B在代码任务明显提升、在普通问答没有收益,可以只把代码路由到5B,其余留给2B。分级路由比全量升级更省资源,也更容易定位问题。
结论
判断一项 AI 更新是否值得采用,不能只看榜单或演示,而要看真实数据、权限边界、失败成本和持续维护能力。建议先选一个可量化的小流程试点,保留人工验收与回退方案,记录质量、时延、成本和异常,再决定是否扩大范围。
资料来源:Zenteiq Dhīr官方模型页。本文依据公开资料重新整理并加入落地分析,不构成对厂商指标的独立背书。