# 演示跑得好好的，直到安全团队发现个人 API 密钥

> 每次模型调用都要走客户自己的云账号，进场前先摸清 Bedrock、Foundry 和 Vertex AI。

原文: https://fdetimes.net/zh/guides/bedrock-azure-openai-vertex-ai-customer-cloud/

到客户现场的第一周，演示用个人 API 密钥跑得很顺。随后，客户的安全团队只发来一条消息：所有模型调用都必须经过公司的云账号，在获批的区域内，使用他们授予的权限。

到这一步，演示几乎要推倒重写。模型本身没有问题，问题在于演示从一开始就不是在客户的环境里搭的。

这正是产品开发者和前线部署工程师（FDE）最大的区别。开发者通常可以自己挑技术栈；FDE 走进的是客户多年前就选好的云，还得像内部员工一样在里面熟门熟路。

摸清下面三个服务，第一周就不会耗在“模型到底从哪儿调”这个问题上。

## 云不由你选，但入口你得认得

在 AWS 上，入口是 Amazon Bedrock。AWS 将它定位为一项全托管服务，让企业可以访问来自多家 AI 厂商的基础模型。Bedrock 支持 100 多个模型，来自 Amazon、Anthropic、DeepSeek、Moonshot AI、MiniMax、OpenAI 和 xAI。

对 FDE 来说，最实用的一点是 Bedrock 提供多种 API 风格：Messages、Responses、Chat Completions、Converse 和 Invoke。也就是说，你可以继续用熟悉的 Anthropic 或 OpenAI SDK，也可以用 boto3。对新应用，AWS 推荐使用 `bedrock-runtime` 端点。

在 Azure 上，Azure OpenAI 现在归入 Microsoft Foundry。模型目录分为两类：由 Azure 直接销售的模型，以及来自合作伙伴或社区的模型。除了 GPT 系列，还有 Cohere、DeepSeek、Meta、Mistral AI 和 xAI 的模型。

Microsoft 也明确说明，可用模型取决于区域和云类型，Azure Government 另有单独的文档页面。

在 Google Cloud 上，最常见的名字是 Vertex AI。Google 较新的文档把这个平台称为 Gemini Enterprise Agent Platform，这是一套覆盖整个机器学习生命周期的工具，从构建、训练到管理模型。旧博客写的是“Vertex AI”，新文档用的是新名字，但指的是同一个平台。

| 维度 | AWS | Azure | Google Cloud |
|---|---|---|---|
| 要找的服务 | Amazon Bedrock | Microsoft Foundry 中的 Azure OpenAI | Gemini Enterprise Agent Platform（原 Vertex AI） |
| 服务范围 | 访问来自多家厂商的 100 多个基础模型 | Azure 直接销售的模型，以及合作伙伴和社区模型 | 构建、训练和管理机器学习模型的工具 |
| 先问客户什么 | 是否使用跨区域推理？ | 模型在你们的区域和云类型下是否可用？ | 你们批准在哪些区域存放资源和数据？ |

## 实战示例：为一家物流公司把原型迁到 Bedrock

假设客户是一家物流公司，全部业务跑在 AWS 上。它想要一个智能体，读取投诉邮件并为客服人员生成摘要。你的原型目前直接调用模型厂商的 API。

第一步不是写代码。无论在哪朵云上，都要养成一个习惯：打开客户账号的控制台，确认所需模型在客户使用的区域是否可用。Microsoft 在 Azure 文档里写明了这一点；在 AWS 或 Google Cloud 上，也应默认如此。

如果模型不在，整个方案都要改，而且发现得越早，改动成本越低。

第二步是跨区域推理。Bedrock 支持 Global 和 Geo 两种跨区域推理，吞吐量更高，每 token 价格更低。听起来很诱人，但这意味着请求可能在源区域之外处理，而投诉邮件里有客户的姓名、电话和地址。

如果客户政策要求数据留在单一区域，启用这项功能之前必须先问清楚。

第三步是权限。不要把访问密钥塞进环境变量。让应用以客户授予的 IAM 角色运行，只允许调用它需要的那个模型。Bedrock 把这个原则贯彻得很彻底：就连内置的 Web Search 工具，也只有在 IAM 明确允许时才会从外部网络获取数据。

这种做法比任何幻灯片都更能说服客户的安全团队。

到这里才轮到写代码。用 boto3 通过 Converse API 调用模型，代码很短：

```python
import boto3

client = boto3.client("bedrock-runtime", region_name=REGION)  # 客户已批准的区域

def generate(prompt: str) -> str:
    resp = client.converse(
        modelId=MODEL_ID,
        messages=[{"role": "user", "content": [{"text": prompt}]}],
    )
    return resp["output"]["message"]["content"][0]["text"]
```

关键在 `generate()` 函数。应用的其余部分只调用这个函数，对 Bedrock 一无所知。如果客户日后收购了一家跑在 Azure 上的公司，你只需再为 Foundry 写一个适配器，投诉摘要的逻辑保持不变。

新的适配器仍要从头回答区域问题，因为在 Azure 上，模型是否可用取决于区域和云类型，Azure Government 也不例外。换云只多一个适配器文件，但各项检查得从头再做一遍。

再加一个场景：客户的一家子公司跑在 Google Cloud 上。第一件事是用 Vertex AI 和 Gemini Enterprise Agent Platform 两个名字分别搜索文档，新旧资料都不漏掉。

Google Cloud 的区域遍布亚洲、澳大利亚、欧洲、非洲、中东和南北美洲，所以要先问子公司批准了哪些区域，把资源放在那里，再为同一个 `generate()` 函数写第三个适配器。

最后一步是基础设施。不要在控制台里手动点击创建角色和资源。AWS 有 CDK，这是一个用代码声明基础设施、再通过 CloudFormation 部署的框架。Google Cloud 也支持通过控制台、CLI、客户端库或 Terraform 管理资源；对这家子公司来说，Terraform 是自然的选择。

基础设施放进代码仓库后，客户团队可以审查、重建，并在你离开后接手。

**要点:** 模型在客户区域是否可用？数据能否离开该区域？权限由谁授予？写代码之前，三个问题都要有答案。

## 启动会上要问的五个问题

上面的示例提供了一套在三朵云上通用的流程。第一个问题：客户用哪朵云，批准了哪些区域？Google Cloud 在亚洲、澳大利亚、欧洲、非洲、中东、北美和南美都有区域，但客户通常只放开其中几个。

第二，所需模型是否在该区域的目录里？第三，权限由谁授予，最少需要申请哪些权限？第四，哪些数据是敏感数据，能否在区域之外处理？

最后，客户用哪种 IaC 工具部署？弄清这一点，你就能按客户的标准来写，而不是带着自己的那一套进场。

## 吃掉第一周的几个错误

最常见的错误是默认模型在所有区域都可用。Microsoft 明确说明，可用性取决于区域和云类型。演示在美国区域跑得通，不代表在客户的区域也行。

第二个错误是因为更便宜、更快就启用跨区域推理，却没先问清数据存储和处理的政策。第三个是把个人凭证留在代码里。代码照样能跑，但第一次安全审查就过不了。

第四个错误不起眼，代价却不小：在新文档里搜“Vertex AI”，却不知道平台已经改名，或者反过来。最后一个是全部在控制台里手工搭建。到了交接那天，没人能重建你搭好的环境。

## 把这项技能写进简历

阅读 FDE 岗位描述时，留意“deploy into customer cloud”“Bedrock”“Azure OpenAI”或“IAM”这类字眼。看到它们，基本可以预期工作内容和上面的示例很像。

简历上不要只写“有 AWS 经验”，要写具体：把一个 LLM 应用迁到客户账号下的 Bedrock，以最小权限 IAM 角色运行，基础设施用 CDK 编写。

这一行能让招聘经理看到，你懂得如何让应用在别人的环境里稳定运行。调用模型谁都会。在 FDE 岗位上，真正有价值的是调用之后必须完成的那些事。

**本周动手试试:**

- 用个人 AWS 账号，通过 boto3 和 Converse API 调用 Bedrock 上的一个模型，再记下该模型在哪些区域可用
- 把最近的一个原型改写成适配器结构：一个共享的 generate() 函数，每朵云一个文件
- 起草一份五问清单（区域、模型、权限、数据、IaC），在下一次与客户或团队的启动会上用起来

## 信源

- [What is Amazon Bedrock? (Amazon Bedrock User Guide)](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html)

- [Foundry Models sold by Azure - Microsoft Foundry | Microsoft Learn](https://learn.microsoft.com/en-us/azure/foundry/foundry-models/concepts/models-sold-directly-by-azure)

- [Introduction to machine learning on Gemini Enterprise Agent Platform | Google Cloud Documentation](https://docs.cloud.google.com/vertex-ai/docs/start/introduction-unified-platform)

- [Google Cloud overview](https://docs.cloud.google.com/docs/overview)

- [AWS Cloud Essentials](https://aws.amazon.com/getting-started/cloud-essentials/)
