SageMaker AI跨区域推理路由已正式可用。Salesforce在30多个区域和大量AWS账号中运行模型,单独为每个区域准备峰值容量既昂贵又容易在突发流量时不足。跨区域路由把已有端点注册到统一调用路径,在本地容量不足时选择其他可用端点,同时保留数据驻留限制和调用记录。
先分类数据驻留
为每个客户和请求标记允许区域、禁止区域和合规原因。路由器只能在允许集合中选端点,不能为了可用性突破政策。敏感输入、日志和缓存也要遵守相同规则。跨账号端点由资源拥有方通过策略授权,调用方不能自动获得全部访问。
建立端点池
端点使用一致模型、容器、Tokenizer和接口,记录版本与容量。把健康、排队、并发和错误指标提供给路由层。不同区域模型版本不一致时,必须显式标记,防止同一用户连续请求得到行为变化。新端点先通过回归和小流量验证。
路由决策
优先本地端点,容量不足或健康异常时选择允许区域中的候选。响应应返回实际服务区域和选择原因,便于审计。设置最大跨区域延迟和费用,若没有合格端点则排队或明确失败,不能无限重试。需要会话一致性的任务固定到同一版本。
故障与恢复
模拟区域端点超时、容量满、网络中断和模型错误。检查流量是否平稳转移、请求是否重复以及数据是否越界。故障恢复后逐步回流,避免瞬间冲击刚恢复端点。写操作使用幂等键,流式响应中断不能自动从头执行外部工具。
成本治理
跨区域提升容量利用率,但会增加网络和运营复杂度。统计每区域请求、跨区比例、排队、错误和单位任务成本。对长期持续跨区的来源,应扩充本地容量,而不是把路由当永久补丁。峰值共享与驻留约束一起进入容量规划。
上线步骤
先注册两个测试端点,验证身份、路由和可观察性;再接入非敏感批处理;随后开放交互流量并保留本地降级。每次扩展区域都运行合规和故障演练。只有能回答“请求在哪里处理、为什么、使用哪个版本”才达到生产标准。
站内相关阅读
参考来源
官方原始资料。本文依据官方资料独立整理并补充实施、验收与风险控制建议,功能和开放范围以官方最新说明为准。