# 用 Modal，一个下午把 Python 函数变成 GPU 演示

> 不写 YAML 和 Dockerfile，按秒计费，每月 30 美元免费额度，客户的 10,000 个文件不必等基础设施。

原文: https://fdetimes.net/zh/tools/modal-python-gpu-demos-batch-jobs/

搞砸客户演示的，很少是模型本身。更常见的情况是：GPU 机器还没开通，容器配置还跑不通，要处理 10,000 个文件的任务还在你的笔记本上顺序执行。

Modal 瞄准的正是这类工作。Modal Labs 将其定位为 AI 基础设施平台：接收你的代码，放进容器，在云端运行。

对前线部署工程师（FDE）来说，吸引力在于计费模式。官方定价页写得很直白：按秒计费，闲置资源从不收费。Starter 套餐每月含 30 美元免费额度，足够个人练手和做原型。

## 为什么“只写 Python”很重要？

在 PyPI 上，`modal` 客户端库的介绍是：从本机的 Python 脚本按需调用 Serverless 算力。该库以 Apache-2.0 许可证开源。上手时，用 pip 安装，运行 `modal setup` 完成认证，然后用 `modal run` 运行一个 Python 文件即可。

Introl 的一篇独立对比文章指出，在 Modal 上部署不需要 YAML，也不需要 Dockerfile。文章还认为，Modal 适合以 Python 为中心、需要快速迭代、更看重开发体验而非极致压低成本的团队。

在客户现场，这几乎就是 FDE 的工作写照：不用切换语言，不用找基础设施团队，刚在 notebook 里验证过的逻辑，可以抽成函数，在同一次会话里就推到云端。

## 思想实验：10,000 份合同和一个下午

假设一家保险公司交给你 10,000 份 PDF 合同，问你的条款抽取模型是否可信。每个文件处理 5 秒，在笔记本上顺序运行需要 50,000 秒，近 14 小时。一个下午过去了，结果还没出来。

在 Modal 上，`extract` 函数保持不变，加一个装饰器，再调用 `.map`。最简示例如下：

```python
import modal

app = modal.App("contract-extraction")

@app.function(gpu="L4")  # 通过 gpu 参数选择 GPU 型号
def extract(pdf: bytes) -> dict:
    # 加载模型，读取一份合同，以 JSON 返回条款
    ...

@app.function()
@modal.fastapi_endpoint()  # 一行代码把函数变成 Web 端点
def try_it(text: str) -> dict:
    return {"received": text}  # 供客户试用的入口

@app.local_entrypoint()
def main():
    files = [...]  # 10,000 个 PDF 文件的内容
    for result in extract.map(files):
        print(result)
```

用 `modal run contracts.py` 运行批处理任务，`modal serve contracts.py` 则提供一个临时 URL 供客户试用。根据批处理文档，`.map` 会把繁重的计算推到高性能机器上，并替你汇总结果。Modal 还会自行准备基础设施，可扩展到数千个并行容器。

再算一遍：假设 `.map` 把 10,000 个文件分给 100 个同时运行的容器，每个容器处理 100 个文件，约 500 秒，八分多钟。100 只是示意数字；即便加上容器启动和模型加载的时间，结果仍能在当天下午拿到，而不是第二天早上。

`gpu` 参数支持多种型号，从 T4、L4、A10、L40S 到 A100、H100、H200 和 B200。实用建议：先选能跑起模型的最小型号，实测确实太慢再升级。

会前调试端点时，`modal serve` 会在文件每次变动后更新应用，调整 prompt 或 JSON 格式都不必重新部署。把这个 URL 发给业务负责人，对方就能立刻用自己的合同试用。

**要点:** 最好的演示，是客户能用自己的数据亲手点一遍的演示。

## 按秒计费改变了演示的做法

算一笔账：演示端点挂了五个工作日，客户总共只调用了约 20 分钟。固定租用 GPU 机器，要为整整五天付费；采用闲置不收费的模式，只为实际运行的算力付费。

代价是冷启动。Modal 文档对冷启动的定义是：新容器需要启动时产生的较高延迟；对于交互式负载，唯一的办法是保持额外的容器处于预热状态。Sam McKay 在 Enterprise DNA 上写道，Modal 处理冷启动比大多数 Serverless 平台好，但并不能让它消失。

别让第一次慢调用恰好发生在客户盯着屏幕的时候。

## 什么时候不该用 Modal？

Enterprise DNA 的评测说得很直接：Modal 擅长批处理，但如果硬把它用于常驻的高流量服务，成本会成为负担。原因在于计费模式本身：负载一阵一阵、中间有空闲时，按秒计费才划算；机器从不空闲时，这一优势就没了。

因此，Modal 最适合 FDE 在客户拍板之前的工作：验证可行性、跑一次性任务、做原型。当原型变成全天运行的系统，在建议维持现有架构之前，先重新核算成本。

剩下的限制与技术无关。代码在云端容器中运行，客户的数据必须离开其自有环境。面对银行、医院或有严格数据驻留要求的客户，先问清政策，或者用脱敏数据做演示。

## 先学什么，简历上写什么

按实际工作的顺序学：先用 `modal run` 运行一个函数，再用 `modal serve` 拿到 URL，然后在真实数据集上用 `.map`，最后才是 GPU 和冷启动测量。

最值得练的技能，是把 notebook 代码改写成一个输入、一个输出的纯函数，因为只有这样写，`.map` 才能发挥作用。

写简历或回答 FDE 面试题时，不要只写“会用 Modal”。建议描述成果：处理了多少文件，运行时间缩短了多少，哪个演示 URL 让客户点了头。

快速的基础设施不会让演示本身变得更好，它只是给你留出更多时间，把客户的问题真正弄懂。

**本周动手试试:**

- 运行 pip install modal 和 modal setup，写一个小函数，用 modal run 运行，再用 modal serve 开一个临时 URL，并用 curl 调用
- 拿一个含 1,000 个样例文件的文件夹，用函数逐个处理，比较笔记本上循环运行与通过 .map 运行的耗时
- 给一个推理函数加上 gpu 参数，分别记录首次调用（冷启动）和后续调用的耗时

## 信源

- [Introduction (Modal docs)](https://modal.com/docs/guide)

- [GPU acceleration (Modal docs)](https://modal.com/docs/guide/gpu)

- [Batch Processing (Modal docs)](https://modal.com/docs/guide/batch-processing)

- [Web Functions (Modal docs)](https://modal.com/docs/guide/webhooks)

- [Cold start performance (Modal docs)](https://modal.com/docs/guide/cold-start)

- [Pricing: Pay per second for GPUs and CPUs | Modal](https://modal.com/pricing)

- [modal · PyPI](https://pypi.org/project/modal/)

- [Modal: What Engineers Actually Found](https://enterprisedna.co/resources/blog/practitioner-modal-compute)

- [Các nền tảng GPU Serverless: So sánh RunPod, Modal và Beam](https://introl.com/vi/blog/serverless-gpu-platforms-runpod-modal-beam-comparison-guide-2025)
