FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

用 Modal,一个下午把 Python 函数变成 GPU 演示

不写 YAML 和 Dockerfile,按秒计费,每月 30 美元免费额度,客户的 10,000 个文件不必等基础设施。

分享微博

要点速览

  • Modal 在云端容器中运行 Python 函数,按秒计费,资源闲置时不收费
  • modal serve 提供随代码修改实时更新的演示 URL,.map 把任务分发到多个容器,装饰器加一个参数就能用上 GPU
  • Modal 擅长批处理和原型;常驻的高流量服务应考虑其他方案
横向条形图:处理 10,000 份合同 PDF,每份 5 秒。在笔记本上顺序运行需要 50,000 秒(近 14 小时);用 Modal 的 .map 分发到 100 个容器约需 500 秒(八分多钟)。100 个容器仅为示意数字。
文中示意计算:同一个 extract 函数在笔记本上顺序运行,与用 .map 拆分到 100 个并行容器运行的对比,未计入容器启动和模型加载时间。来源:文中示意计算。

搞砸客户演示的,很少是模型本身。更常见的情况是:GPU 机器还没开通,容器配置还跑不通,要处理 10,000 个文件的任务还在你的笔记本上顺序执行。

Modal 瞄准的正是这类工作。Modal Labs 将其定位为 AI 基础设施平台:接收你的代码,放进容器,在云端运行。

对前线部署工程师(FDE)来说,吸引力在于计费模式。官方定价页写得很直白:按秒计费,闲置资源从不收费。Starter 套餐每月含 30 美元免费额度,足够个人练手和做原型。

为什么“只写 Python”很重要?

在 PyPI 上,modal 客户端库的介绍是:从本机的 Python 脚本按需调用 Serverless 算力。该库以 Apache-2.0 许可证开源。上手时,用 pip 安装,运行 modal setup 完成认证,然后用 modal run 运行一个 Python 文件即可。

Introl 的一篇独立对比文章指出,在 Modal 上部署不需要 YAML,也不需要 Dockerfile。文章还认为,Modal 适合以 Python 为中心、需要快速迭代、更看重开发体验而非极致压低成本的团队。

在客户现场,这几乎就是 FDE 的工作写照:不用切换语言,不用找基础设施团队,刚在 notebook 里验证过的逻辑,可以抽成函数,在同一次会话里就推到云端。

思想实验:10,000 份合同和一个下午

假设一家保险公司交给你 10,000 份 PDF 合同,问你的条款抽取模型是否可信。每个文件处理 5 秒,在笔记本上顺序运行需要 50,000 秒,近 14 小时。一个下午过去了,结果还没出来。

在 Modal 上,extract 函数保持不变,加一个装饰器,再调用 .map。最简示例如下:

import modal

app = modal.App("contract-extraction")

@app.function(gpu="L4")  # 通过 gpu 参数选择 GPU 型号
def extract(pdf: bytes) -> dict:
    # 加载模型,读取一份合同,以 JSON 返回条款
    ...

@app.function()
@modal.fastapi_endpoint()  # 一行代码把函数变成 Web 端点
def try_it(text: str) -> dict:
    return {"received": text}  # 供客户试用的入口

@app.local_entrypoint()
def main():
    files = [...]  # 10,000 个 PDF 文件的内容
    for result in extract.map(files):
        print(result)

用 modal run contracts.py 运行批处理任务,modal serve contracts.py 则提供一个临时 URL 供客户试用。根据批处理文档,.map 会把繁重的计算推到高性能机器上,并替你汇总结果。Modal 还会自行准备基础设施,可扩展到数千个并行容器。

再算一遍:假设 .map 把 10,000 个文件分给 100 个同时运行的容器,每个容器处理 100 个文件,约 500 秒,八分多钟。100 只是示意数字;即便加上容器启动和模型加载的时间,结果仍能在当天下午拿到,而不是第二天早上。

gpu 参数支持多种型号,从 T4、L4、A10、L40S 到 A100、H100、H200 和 B200。实用建议:先选能跑起模型的最小型号,实测确实太慢再升级。

会前调试端点时,modal serve 会在文件每次变动后更新应用,调整 prompt 或 JSON 格式都不必重新部署。把这个 URL 发给业务负责人,对方就能立刻用自己的合同试用。

按秒计费改变了演示的做法

算一笔账:演示端点挂了五个工作日,客户总共只调用了约 20 分钟。固定租用 GPU 机器,要为整整五天付费;采用闲置不收费的模式,只为实际运行的算力付费。

代价是冷启动。Modal 文档对冷启动的定义是:新容器需要启动时产生的较高延迟;对于交互式负载,唯一的办法是保持额外的容器处于预热状态。Sam McKay 在 Enterprise DNA 上写道,Modal 处理冷启动比大多数 Serverless 平台好,但并不能让它消失。

别让第一次慢调用恰好发生在客户盯着屏幕的时候。

什么时候不该用 Modal?

Enterprise DNA 的评测说得很直接:Modal 擅长批处理,但如果硬把它用于常驻的高流量服务,成本会成为负担。原因在于计费模式本身:负载一阵一阵、中间有空闲时,按秒计费才划算;机器从不空闲时,这一优势就没了。

因此,Modal 最适合 FDE 在客户拍板之前的工作:验证可行性、跑一次性任务、做原型。当原型变成全天运行的系统,在建议维持现有架构之前,先重新核算成本。

剩下的限制与技术无关。代码在云端容器中运行,客户的数据必须离开其自有环境。面对银行、医院或有严格数据驻留要求的客户,先问清政策,或者用脱敏数据做演示。

先学什么,简历上写什么

按实际工作的顺序学:先用 modal run 运行一个函数,再用 modal serve 拿到 URL,然后在真实数据集上用 .map,最后才是 GPU 和冷启动测量。

最值得练的技能,是把 notebook 代码改写成一个输入、一个输出的纯函数,因为只有这样写,.map 才能发挥作用。

写简历或回答 FDE 面试题时,不要只写“会用 Modal”。建议描述成果:处理了多少文件,运行时间缩短了多少,哪个演示 URL 让客户点了头。

快速的基础设施不会让演示本身变得更好,它只是给你留出更多时间,把客户的问题真正弄懂。

这篇文章对你有帮助吗?

9 个信源
路线图上的下一篇 · 阶段 5: 部署上线Foundry 改名不要紧,要紧的是数据在哪里处理微软默认推荐 Global Standard,但它可能在任意 Azure 区域处理提示词,欧洲合规团队不会接受。