FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

演示跑得好好的,直到安全团队发现个人 API 密钥

每次模型调用都要走客户自己的云账号,进场前先摸清 Bedrock、Foundry 和 Vertex AI。

分享微博

要点速览

  • 客户早就选定了云。FDE 的任务是把应用放进正确的账号、区域和权限体系。
  • 服务上架的模型,不一定在客户所在区域可用;跨区域推理可能让数据在获批区域之外处理。
  • 把所有云厂商相关的代码收进一个适配器,并用代码管理基础设施,换云时只需改一处。
信息图分上下两部分。上半部分用箭头连接三个问题:模型在客户的区域可用吗、数据能否离开该区域(跨区域推理)、谁来授予访问权限(客户签发的 IAM 角色),三者都指向一个写着“然后再写代码”的橙色方框。下半部分是适配器架构:理赔摘要应用逻辑调用一个共用的 generate() 函数,再分出三个适配器,分别对应 AWS Amazon Bedrock、Foundry 中的 Azure OpenAI,以及 Google Cloud Gemini Enterprise Agent Platform(原 Vertex AI)。
写代码前,先回答区域、数据和访问权限三个问题。之后每多一朵云,只需在同一个 generate() 函数后面再加一个适配器。

到客户现场的第一周,演示用个人 API 密钥跑得很顺。随后,客户的安全团队只发来一条消息:所有模型调用都必须经过公司的云账号,在获批的区域内,使用他们授予的权限。

到这一步,演示几乎要推倒重写。模型本身没有问题,问题在于演示从一开始就不是在客户的环境里搭的。

这正是产品开发者和前线部署工程师(FDE)最大的区别。开发者通常可以自己挑技术栈;FDE 走进的是客户多年前就选好的云,还得像内部员工一样在里面熟门熟路。

摸清下面三个服务,第一周就不会耗在“模型到底从哪儿调”这个问题上。

云不由你选,但入口你得认得

在 AWS 上,入口是 Amazon Bedrock。AWS 将它定位为一项全托管服务,让企业可以访问来自多家 AI 厂商的基础模型。Bedrock 支持 100 多个模型,来自 Amazon、Anthropic、DeepSeek、Moonshot AI、MiniMax、OpenAI 和 xAI。

对 FDE 来说,最实用的一点是 Bedrock 提供多种 API 风格:Messages、Responses、Chat Completions、Converse 和 Invoke。也就是说,你可以继续用熟悉的 Anthropic 或 OpenAI SDK,也可以用 boto3。对新应用,AWS 推荐使用 bedrock-runtime 端点。

在 Azure 上,Azure OpenAI 现在归入 Microsoft Foundry。模型目录分为两类:由 Azure 直接销售的模型,以及来自合作伙伴或社区的模型。除了 GPT 系列,还有 Cohere、DeepSeek、Meta、Mistral AI 和 xAI 的模型。

Microsoft 也明确说明,可用模型取决于区域和云类型,Azure Government 另有单独的文档页面。

在 Google Cloud 上,最常见的名字是 Vertex AI。Google 较新的文档把这个平台称为 Gemini Enterprise Agent Platform,这是一套覆盖整个机器学习生命周期的工具,从构建、训练到管理模型。旧博客写的是“Vertex AI”,新文档用的是新名字,但指的是同一个平台。

维度 AWS Azure Google Cloud
要找的服务 Amazon Bedrock Microsoft Foundry 中的 Azure OpenAI Gemini Enterprise Agent Platform(原 Vertex AI)
服务范围 访问来自多家厂商的 100 多个基础模型 Azure 直接销售的模型,以及合作伙伴和社区模型 构建、训练和管理机器学习模型的工具
先问客户什么 是否使用跨区域推理? 模型在你们的区域和云类型下是否可用? 你们批准在哪些区域存放资源和数据?

实战示例:为一家物流公司把原型迁到 Bedrock

假设客户是一家物流公司,全部业务跑在 AWS 上。它想要一个智能体,读取投诉邮件并为客服人员生成摘要。你的原型目前直接调用模型厂商的 API。

第一步不是写代码。无论在哪朵云上,都要养成一个习惯:打开客户账号的控制台,确认所需模型在客户使用的区域是否可用。Microsoft 在 Azure 文档里写明了这一点;在 AWS 或 Google Cloud 上,也应默认如此。

如果模型不在,整个方案都要改,而且发现得越早,改动成本越低。

第二步是跨区域推理。Bedrock 支持 Global 和 Geo 两种跨区域推理,吞吐量更高,每 token 价格更低。听起来很诱人,但这意味着请求可能在源区域之外处理,而投诉邮件里有客户的姓名、电话和地址。

如果客户政策要求数据留在单一区域,启用这项功能之前必须先问清楚。

第三步是权限。不要把访问密钥塞进环境变量。让应用以客户授予的 IAM 角色运行,只允许调用它需要的那个模型。Bedrock 把这个原则贯彻得很彻底:就连内置的 Web Search 工具,也只有在 IAM 明确允许时才会从外部网络获取数据。

这种做法比任何幻灯片都更能说服客户的安全团队。

到这里才轮到写代码。用 boto3 通过 Converse API 调用模型,代码很短:

import boto3

client = boto3.client("bedrock-runtime", region_name=REGION)  # 客户已批准的区域

def generate(prompt: str) -> str:
    resp = client.converse(
        modelId=MODEL_ID,
        messages=[{"role": "user", "content": [{"text": prompt}]}],
    )
    return resp["output"]["message"]["content"][0]["text"]

关键在 generate() 函数。应用的其余部分只调用这个函数,对 Bedrock 一无所知。如果客户日后收购了一家跑在 Azure 上的公司,你只需再为 Foundry 写一个适配器,投诉摘要的逻辑保持不变。

新的适配器仍要从头回答区域问题,因为在 Azure 上,模型是否可用取决于区域和云类型,Azure Government 也不例外。换云只多一个适配器文件,但各项检查得从头再做一遍。

再加一个场景:客户的一家子公司跑在 Google Cloud 上。第一件事是用 Vertex AI 和 Gemini Enterprise Agent Platform 两个名字分别搜索文档,新旧资料都不漏掉。

Google Cloud 的区域遍布亚洲、澳大利亚、欧洲、非洲、中东和南北美洲,所以要先问子公司批准了哪些区域,把资源放在那里,再为同一个 generate() 函数写第三个适配器。

最后一步是基础设施。不要在控制台里手动点击创建角色和资源。AWS 有 CDK,这是一个用代码声明基础设施、再通过 CloudFormation 部署的框架。Google Cloud 也支持通过控制台、CLI、客户端库或 Terraform 管理资源;对这家子公司来说,Terraform 是自然的选择。

基础设施放进代码仓库后,客户团队可以审查、重建,并在你离开后接手。

启动会上要问的五个问题

上面的示例提供了一套在三朵云上通用的流程。第一个问题:客户用哪朵云,批准了哪些区域?Google Cloud 在亚洲、澳大利亚、欧洲、非洲、中东、北美和南美都有区域,但客户通常只放开其中几个。

第二,所需模型是否在该区域的目录里?第三,权限由谁授予,最少需要申请哪些权限?第四,哪些数据是敏感数据,能否在区域之外处理?

最后,客户用哪种 IaC 工具部署?弄清这一点,你就能按客户的标准来写,而不是带着自己的那一套进场。

吃掉第一周的几个错误

最常见的错误是默认模型在所有区域都可用。Microsoft 明确说明,可用性取决于区域和云类型。演示在美国区域跑得通,不代表在客户的区域也行。

第二个错误是因为更便宜、更快就启用跨区域推理,却没先问清数据存储和处理的政策。第三个是把个人凭证留在代码里。代码照样能跑,但第一次安全审查就过不了。

第四个错误不起眼,代价却不小:在新文档里搜“Vertex AI”,却不知道平台已经改名,或者反过来。最后一个是全部在控制台里手工搭建。到了交接那天,没人能重建你搭好的环境。

把这项技能写进简历

阅读 FDE 岗位描述时,留意“deploy into customer cloud”“Bedrock”“Azure OpenAI”或“IAM”这类字眼。看到它们,基本可以预期工作内容和上面的示例很像。

简历上不要只写“有 AWS 经验”,要写具体:把一个 LLM 应用迁到客户账号下的 Bedrock,以最小权限 IAM 角色运行,基础设施用 CDK 编写。

这一行能让招聘经理看到,你懂得如何让应用在别人的环境里稳定运行。调用模型谁都会。在 FDE 岗位上,真正有价值的是调用之后必须完成的那些事。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 5: 部署上线算不清每次回答成本的问答应用,还只是演示这个作品集项目把每次请求的追踪和 token 数写入 SQLite,再在仪表盘上汇总成成本。