用 Modal,一个下午把 Python 函数变成 GPU 演示
不写 YAML 和 Dockerfile,按秒计费,每月 30 美元免费额度,客户的 10,000 个文件不必等基础设施。
要点速览
- Modal 在云端容器中运行 Python 函数,按秒计费,资源闲置时不收费
- modal serve 提供随代码修改实时更新的演示 URL,.map 把任务分发到多个容器,装饰器加一个参数就能用上 GPU
- Modal 擅长批处理和原型;常驻的高流量服务应考虑其他方案
搞砸客户演示的,很少是模型本身。更常见的情况是:GPU 机器还没开通,容器配置还跑不通,要处理 10,000 个文件的任务还在你的笔记本上顺序执行。
Modal 瞄准的正是这类工作。Modal Labs 将其定位为 AI 基础设施平台:接收你的代码,放进容器,在云端运行。
对前线部署工程师(FDE)来说,吸引力在于计费模式。官方定价页写得很直白:按秒计费,闲置资源从不收费。Starter 套餐每月含 30 美元免费额度,足够个人练手和做原型。
为什么“只写 Python”很重要?
在 PyPI 上,modal 客户端库的介绍是:从本机的 Python 脚本按需调用 Serverless 算力。该库以 Apache-2.0 许可证开源。上手时,用 pip 安装,运行 modal setup 完成认证,然后用 modal run 运行一个 Python 文件即可。
Introl 的一篇独立对比文章指出,在 Modal 上部署不需要 YAML,也不需要 Dockerfile。文章还认为,Modal 适合以 Python 为中心、需要快速迭代、更看重开发体验而非极致压低成本的团队。
在客户现场,这几乎就是 FDE 的工作写照:不用切换语言,不用找基础设施团队,刚在 notebook 里验证过的逻辑,可以抽成函数,在同一次会话里就推到云端。
思想实验:10,000 份合同和一个下午
假设一家保险公司交给你 10,000 份 PDF 合同,问你的条款抽取模型是否可信。每个文件处理 5 秒,在笔记本上顺序运行需要 50,000 秒,近 14 小时。一个下午过去了,结果还没出来。
在 Modal 上,extract 函数保持不变,加一个装饰器,再调用 .map。最简示例如下:
import modal
app = modal.App("contract-extraction")
@app.function(gpu="L4") # 通过 gpu 参数选择 GPU 型号
def extract(pdf: bytes) -> dict:
# 加载模型,读取一份合同,以 JSON 返回条款
...
@app.function()
@modal.fastapi_endpoint() # 一行代码把函数变成 Web 端点
def try_it(text: str) -> dict:
return {"received": text} # 供客户试用的入口
@app.local_entrypoint()
def main():
files = [...] # 10,000 个 PDF 文件的内容
for result in extract.map(files):
print(result)
用 modal run contracts.py 运行批处理任务,modal serve contracts.py 则提供一个临时 URL 供客户试用。根据批处理文档,.map 会把繁重的计算推到高性能机器上,并替你汇总结果。Modal 还会自行准备基础设施,可扩展到数千个并行容器。
再算一遍:假设 .map 把 10,000 个文件分给 100 个同时运行的容器,每个容器处理 100 个文件,约 500 秒,八分多钟。100 只是示意数字;即便加上容器启动和模型加载的时间,结果仍能在当天下午拿到,而不是第二天早上。
gpu 参数支持多种型号,从 T4、L4、A10、L40S 到 A100、H100、H200 和 B200。实用建议:先选能跑起模型的最小型号,实测确实太慢再升级。
会前调试端点时,modal serve 会在文件每次变动后更新应用,调整 prompt 或 JSON 格式都不必重新部署。把这个 URL 发给业务负责人,对方就能立刻用自己的合同试用。
按秒计费改变了演示的做法
算一笔账:演示端点挂了五个工作日,客户总共只调用了约 20 分钟。固定租用 GPU 机器,要为整整五天付费;采用闲置不收费的模式,只为实际运行的算力付费。
代价是冷启动。Modal 文档对冷启动的定义是:新容器需要启动时产生的较高延迟;对于交互式负载,唯一的办法是保持额外的容器处于预热状态。Sam McKay 在 Enterprise DNA 上写道,Modal 处理冷启动比大多数 Serverless 平台好,但并不能让它消失。
别让第一次慢调用恰好发生在客户盯着屏幕的时候。
什么时候不该用 Modal?
Enterprise DNA 的评测说得很直接:Modal 擅长批处理,但如果硬把它用于常驻的高流量服务,成本会成为负担。原因在于计费模式本身:负载一阵一阵、中间有空闲时,按秒计费才划算;机器从不空闲时,这一优势就没了。
因此,Modal 最适合 FDE 在客户拍板之前的工作:验证可行性、跑一次性任务、做原型。当原型变成全天运行的系统,在建议维持现有架构之前,先重新核算成本。
剩下的限制与技术无关。代码在云端容器中运行,客户的数据必须离开其自有环境。面对银行、医院或有严格数据驻留要求的客户,先问清政策,或者用脱敏数据做演示。
先学什么,简历上写什么
按实际工作的顺序学:先用 modal run 运行一个函数,再用 modal serve 拿到 URL,然后在真实数据集上用 .map,最后才是 GPU 和冷启动测量。
最值得练的技能,是把 notebook 代码改写成一个输入、一个输出的纯函数,因为只有这样写,.map 才能发挥作用。
写简历或回答 FDE 面试题时,不要只写“会用 Modal”。建议描述成果:处理了多少文件,运行时间缩短了多少,哪个演示 URL 让客户点了头。
快速的基础设施不会让演示本身变得更好,它只是给你留出更多时间,把客户的问题真正弄懂。
这篇文章对你有帮助吗?
感谢你的反馈!
9 个信源
- Introduction (Modal docs)
- GPU acceleration (Modal docs)
- Batch Processing (Modal docs)
- Web Functions (Modal docs)
- Cold start performance (Modal docs)
- Pricing: Pay per second for GPUs and CPUs | Modal
- modal · PyPI
- Modal: What Engineers Actually Found · 2026-06-26
- Các nền tảng GPU Serverless: So sánh RunPod, Modal và Beam · 2026-03-19