演示跑得好好的,直到安全团队发现个人 API 密钥
每次模型调用都要走客户自己的云账号,进场前先摸清 Bedrock、Foundry 和 Vertex AI。
要点速览
- 客户早就选定了云。FDE 的任务是把应用放进正确的账号、区域和权限体系。
- 服务上架的模型,不一定在客户所在区域可用;跨区域推理可能让数据在获批区域之外处理。
- 把所有云厂商相关的代码收进一个适配器,并用代码管理基础设施,换云时只需改一处。
到客户现场的第一周,演示用个人 API 密钥跑得很顺。随后,客户的安全团队只发来一条消息:所有模型调用都必须经过公司的云账号,在获批的区域内,使用他们授予的权限。
到这一步,演示几乎要推倒重写。模型本身没有问题,问题在于演示从一开始就不是在客户的环境里搭的。
这正是产品开发者和前线部署工程师(FDE)最大的区别。开发者通常可以自己挑技术栈;FDE 走进的是客户多年前就选好的云,还得像内部员工一样在里面熟门熟路。
摸清下面三个服务,第一周就不会耗在“模型到底从哪儿调”这个问题上。
云不由你选,但入口你得认得
在 AWS 上,入口是 Amazon Bedrock。AWS 将它定位为一项全托管服务,让企业可以访问来自多家 AI 厂商的基础模型。Bedrock 支持 100 多个模型,来自 Amazon、Anthropic、DeepSeek、Moonshot AI、MiniMax、OpenAI 和 xAI。
对 FDE 来说,最实用的一点是 Bedrock 提供多种 API 风格:Messages、Responses、Chat Completions、Converse 和 Invoke。也就是说,你可以继续用熟悉的 Anthropic 或 OpenAI SDK,也可以用 boto3。对新应用,AWS 推荐使用 bedrock-runtime 端点。
在 Azure 上,Azure OpenAI 现在归入 Microsoft Foundry。模型目录分为两类:由 Azure 直接销售的模型,以及来自合作伙伴或社区的模型。除了 GPT 系列,还有 Cohere、DeepSeek、Meta、Mistral AI 和 xAI 的模型。
Microsoft 也明确说明,可用模型取决于区域和云类型,Azure Government 另有单独的文档页面。
在 Google Cloud 上,最常见的名字是 Vertex AI。Google 较新的文档把这个平台称为 Gemini Enterprise Agent Platform,这是一套覆盖整个机器学习生命周期的工具,从构建、训练到管理模型。旧博客写的是“Vertex AI”,新文档用的是新名字,但指的是同一个平台。
| 维度 | AWS | Azure | Google Cloud |
|---|---|---|---|
| 要找的服务 | Amazon Bedrock | Microsoft Foundry 中的 Azure OpenAI | Gemini Enterprise Agent Platform(原 Vertex AI) |
| 服务范围 | 访问来自多家厂商的 100 多个基础模型 | Azure 直接销售的模型,以及合作伙伴和社区模型 | 构建、训练和管理机器学习模型的工具 |
| 先问客户什么 | 是否使用跨区域推理? | 模型在你们的区域和云类型下是否可用? | 你们批准在哪些区域存放资源和数据? |
实战示例:为一家物流公司把原型迁到 Bedrock
假设客户是一家物流公司,全部业务跑在 AWS 上。它想要一个智能体,读取投诉邮件并为客服人员生成摘要。你的原型目前直接调用模型厂商的 API。
第一步不是写代码。无论在哪朵云上,都要养成一个习惯:打开客户账号的控制台,确认所需模型在客户使用的区域是否可用。Microsoft 在 Azure 文档里写明了这一点;在 AWS 或 Google Cloud 上,也应默认如此。
如果模型不在,整个方案都要改,而且发现得越早,改动成本越低。
第二步是跨区域推理。Bedrock 支持 Global 和 Geo 两种跨区域推理,吞吐量更高,每 token 价格更低。听起来很诱人,但这意味着请求可能在源区域之外处理,而投诉邮件里有客户的姓名、电话和地址。
如果客户政策要求数据留在单一区域,启用这项功能之前必须先问清楚。
第三步是权限。不要把访问密钥塞进环境变量。让应用以客户授予的 IAM 角色运行,只允许调用它需要的那个模型。Bedrock 把这个原则贯彻得很彻底:就连内置的 Web Search 工具,也只有在 IAM 明确允许时才会从外部网络获取数据。
这种做法比任何幻灯片都更能说服客户的安全团队。
到这里才轮到写代码。用 boto3 通过 Converse API 调用模型,代码很短:
import boto3
client = boto3.client("bedrock-runtime", region_name=REGION) # 客户已批准的区域
def generate(prompt: str) -> str:
resp = client.converse(
modelId=MODEL_ID,
messages=[{"role": "user", "content": [{"text": prompt}]}],
)
return resp["output"]["message"]["content"][0]["text"]
关键在 generate() 函数。应用的其余部分只调用这个函数,对 Bedrock 一无所知。如果客户日后收购了一家跑在 Azure 上的公司,你只需再为 Foundry 写一个适配器,投诉摘要的逻辑保持不变。
新的适配器仍要从头回答区域问题,因为在 Azure 上,模型是否可用取决于区域和云类型,Azure Government 也不例外。换云只多一个适配器文件,但各项检查得从头再做一遍。
再加一个场景:客户的一家子公司跑在 Google Cloud 上。第一件事是用 Vertex AI 和 Gemini Enterprise Agent Platform 两个名字分别搜索文档,新旧资料都不漏掉。
Google Cloud 的区域遍布亚洲、澳大利亚、欧洲、非洲、中东和南北美洲,所以要先问子公司批准了哪些区域,把资源放在那里,再为同一个 generate() 函数写第三个适配器。
最后一步是基础设施。不要在控制台里手动点击创建角色和资源。AWS 有 CDK,这是一个用代码声明基础设施、再通过 CloudFormation 部署的框架。Google Cloud 也支持通过控制台、CLI、客户端库或 Terraform 管理资源;对这家子公司来说,Terraform 是自然的选择。
基础设施放进代码仓库后,客户团队可以审查、重建,并在你离开后接手。
启动会上要问的五个问题
上面的示例提供了一套在三朵云上通用的流程。第一个问题:客户用哪朵云,批准了哪些区域?Google Cloud 在亚洲、澳大利亚、欧洲、非洲、中东、北美和南美都有区域,但客户通常只放开其中几个。
第二,所需模型是否在该区域的目录里?第三,权限由谁授予,最少需要申请哪些权限?第四,哪些数据是敏感数据,能否在区域之外处理?
最后,客户用哪种 IaC 工具部署?弄清这一点,你就能按客户的标准来写,而不是带着自己的那一套进场。
吃掉第一周的几个错误
最常见的错误是默认模型在所有区域都可用。Microsoft 明确说明,可用性取决于区域和云类型。演示在美国区域跑得通,不代表在客户的区域也行。
第二个错误是因为更便宜、更快就启用跨区域推理,却没先问清数据存储和处理的政策。第三个是把个人凭证留在代码里。代码照样能跑,但第一次安全审查就过不了。
第四个错误不起眼,代价却不小:在新文档里搜“Vertex AI”,却不知道平台已经改名,或者反过来。最后一个是全部在控制台里手工搭建。到了交接那天,没人能重建你搭好的环境。
把这项技能写进简历
阅读 FDE 岗位描述时,留意“deploy into customer cloud”“Bedrock”“Azure OpenAI”或“IAM”这类字眼。看到它们,基本可以预期工作内容和上面的示例很像。
简历上不要只写“有 AWS 经验”,要写具体:把一个 LLM 应用迁到客户账号下的 Bedrock,以最小权限 IAM 角色运行,基础设施用 CDK 编写。
这一行能让招聘经理看到,你懂得如何让应用在别人的环境里稳定运行。调用模型谁都会。在 FDE 岗位上,真正有价值的是调用之后必须完成的那些事。
这篇文章对你有帮助吗?
感谢你的反馈!