NVIDIA Nemotron 3.5 Super VL是开放权重多模态模型，总参数120B、每token激活12B，支持文本、图片、文档和视频输入，最长上下文可达100万token。
模型架构意味着什么
模型混合Mamba-2、注意力与MoE专家层，并使用RADIO视觉编码器。稀疏路由让单个token只激活12B参数，降低计算量，但完整120B权重仍需装入GPU内存，不能把它当作普通12B模型部署。官方提供BF16与NVFP4检查点，可根据精度和硬件选择。
百万上下文适合长文档与视频，但上下文越长，延迟和缓存占用越高。生产系统仍应先检索、切片和压缩，不应把全部资料无筛选地一次送入。
适合的真实任务
它可用于图表理解、文档审阅、视频事件摘要和需要工具调用的多模态Agent。企业可让模型从设备截图和手册中定位故障，或从财报图表提取数据，但数字必须由程序复核并保留页码引用。
厂商公布的Agent和图表基准只能作为选型线索。应使用自己的图像质量、语言、表格格式和工具集测试，并与多模态模型落地方法中的输入规范和失败分类结合。
AWS部署路径
官方示例覆盖EKS、EKS Auto Mode和SageMaker HyperPod EKS，使用NVIDIA Dynamo与vLLM，流程包括集群创建、权重下载、部署、测试、压测和清理。团队需要提前确认模型许可、权重存储、GPU型号、网络带宽和区域容量。
先用单实例验证正确性，再测试张量并行、批处理和故障恢复。容器镜像与模型权重固定摘要，启动探针在模型真正可用后才接流量；节点扩缩容要考虑权重下载和冷启动时间。
评测与成本控制
分别测试短文本、长文档、图片、图表和视频，记录正确率、首token时延、吞吐、显存和单任务成本。工具调用测试参数完整性、权限和失败停止。长上下文任务关注中间信息遗漏，不只检查开头和结尾。
如果大部分任务只用文字或简单图片，应路由到更小模型，只有复杂多模态任务进入Super VL。建立请求上限、并发队列和超时，避免单个超长视频占满集群。
落地结论
真正可用的AI系统必须同时满足任务有效、数据可控、成本可解释和失败可回退。建议先用真实且脱敏的小样本建立基线，再逐步开放工具与自动化权限；任何涉及生产修改、外部发送、医疗科研结论或资金的动作，都应保留人工审批和完整审计。
资料来源：AWS：Deploy NVIDIA Nemotron models on EKS and HyperPod。本文依据公开资料重新整理，并结合工程实践给出操作建议；厂商公布的性能和案例数据不等同于独立第三方验证。
