# 云端跑得好的模型，为何到了传送带旁就失灵

> 先定设备、供电和几十个站点的铺开方案，再选 TensorRT、LiteRT 或 ExecuTorch。

原文: https://fdetimes.net/zh/guides/edge-ai-tensorrt-litert-executorch/

你带着一个在云端表现不错的缺陷检测模型来到工厂。车间主任把你领到产线旁，指着传送带上方的一台摄像头。Wi-Fi 时断时续，电气柜摸上去发烫，他只问了一个问题：“就在这儿能跑吗？”

不少优秀的工程师会被这个问题难住，因为他们只往服务器上部署过。把模型带到现场是另一门手艺：要摸清现场的物理约束，选对运行时，还要为几十个站点做规划，而每个站点的硬件各不相同。

这也是前线部署工程师（FDE）能提供办公室里的模型团队给不了的价值的地方。他们交给你一个 checkpoint 文件，你的任务是把它变成一套系统，在客户真正生产或销售的地方跑起来。

## 边缘 AI 解决什么问题？

NVIDIA 对边缘 AI 的定义是：把 AI 应用部署在物理世界中的设备上，而不是云端数据中心。IBM 说得更具体：算法和模型直接在本地边缘设备上运行。定义很简单，难的是判断客户什么时候真正需要它。

通常有三个理由。第一是速度：据 IBM 介绍，所有处理都在设备上完成时，用户能更快得到响应。另外两个是带宽和隐私，NVIDIA 描述的模式是只把分析结果推送到云端，原始数据留在现场。

NVIDIA 举的两个例子与 FDE 常遇到的场景很接近。在工厂里，设备上的传感器检测故障，在机器需要维修时提醒管理人员。在零售业，商家希望顾客能用语音点单，以改善购物体验。

## 选硬件之前，先算预算

设想一条有 4 台摄像头的质检线。假设每张图片 200 KB，每台摄像头每秒拍 10 张。把所有图片都发到云端，就是 4 × 200 KB × 10 = 每秒 8 MB，相当于整个班次持续上传约 64 Mbit/s。

工厂的网络很少能稳定撑住这个量。如果模型就在摄像头旁边运行，每次推理只需发送一条几百字节的 JSON 记录，内容类似“摄像头 2，划痕缺陷，置信度 0.91”。

按每秒 40 次推理计算，链路上每秒只有几十 KB，而不是 8 MB，客户产品的图片也不会离开工厂。

到这一步才轮到硬件。据 NVIDIA 介绍，Jetson Orin Nano 以 Jetson 系列中最小的尺寸提供最高 67 TOPS 算力，功耗模式从 7 W 到 25 W。这个功耗范围直接影响设计：你要问清电气柜能供多少电，机箱能否散掉 25 W 的热量。

**要点:** 先在现场测出带宽、功耗和响应时间，再选模型和运行时。

## 先分清硬件和运行时，再做选择

最常见的混淆是把 Jetson 当作 LiteRT 或 ExecuTorch 的替代品。Jetson 是硬件模块，上面的推理优化通常由 TensorRT 负责，因为 TensorRT 随 NVIDIA 的软件栈一起提供。

LiteRT 和 ExecuTorch 是另外的端侧框架；某一代 Jetson 能否把它们跑好，需要你自己验证，然后才能向客户承诺。

按这两层来思考：先根据现场约束选设备，再根据模型和客户团队选运行时。

第一种运行时是 TensorRT，它随 Jetson 硬件提供。Jetson 是系统级模块（SoM），需要插在载板上才能运行。NVIDIA 提供 JetPack SDK，这是一套用于在边缘开发和部署 AI 应用的完整软件包，其中包含用于推理优化的 TensorRT。产线质检是这一组合的典型场景。

第二种运行时是 LiteRT，即 TensorFlow Lite 的新名称。Google 将 LiteRT 描述为基于 TFLite 构建的端侧框架，旧的 TFLite 指南现在都会跳转到 LiteRT。流程分两步：把 PyTorch、JAX 或 TensorFlow 模型转换为 `.tflite`，再做训练后量化。

LiteRT 不只用于手机，也能把异常检测、传感器融合这类轻量模型带到微控制器和嵌入式设备上。

第三种运行时面向已经熟悉 PyTorch 的团队。ExecuTorch 是 PyTorch Mobile 的替代品，它不依赖 TorchScript，而是使用 PyTorch 2 的编译器和导出机制。据 PyTorch 文档介绍，ExecuTorch 的内存占用远低于 PyTorch Mobile，并且可以灵活调整。

本文附带的对比表概括了如何选择：带电气柜的多摄像头产线倾向 Jetson 配 TensorRT；极小设备上的振动或温度传感器倾向在微控制器上跑 LiteRT；PyTorch 团队开发的柜台平板应用倾向 ExecuTorch。每个选项都附有一个问题，拍板之前必须先问客户。

## 从 checkpoint 到设备

第一步，动手写代码之前先写一份“现场预算”。这一页记录最长响应时间（例如产品只在画面里停留半秒）、实测上传带宽、可用功率，以及要部署的站点数量。你会用同一页纸和客户约定“能跑”到底是什么意思。

第二步，对照对比表选定运行时，然后转换。用 LiteRT，就导出为 `.tflite` 并量化；用 ExecuTorch，就用 PyTorch 2 的工具链导出；在 Jetson 上用 TensorRT，就用 TensorRT 做优化。无论走哪条路，都要保留原始模型，作为对比的基准。

第三步，在客户工厂实拍的真实图片上重新测量压缩后模型的准确率，而不只是用办公室里的测试集。第四步，设计数据流，只让结果上传到云端。

第五步，为每个站点的每台设备做规划：IBM 提醒，把分布式 AI 扩展到多个站点，会遇到数据引力、异构硬件、规模和资源约束等问题。

## 代价最大的错误往往不在模型本身

最常见的错误是在有散热风扇的桌面上做基准测试，然后在盛夏把设备装进密封的电气柜。功耗范围在 7 W 到 25 W 的设备，不同功耗模式下的表现差别很大，所以要按现场实际使用的模式来测。

第二个错误是量化后不重新测量，直到客户发现误报的缺陷越来越多才察觉。

第三个错误是按演示阶段的思路做规划。买了 Jetson 模块却忘了载板，或者在已有 ExecuTorch 的情况下，交接文档里还写着 PyTorch Mobile，都会浪费客户运维团队的时间。

第四个错误是把 30 家门店当成一模一样，实际上每家店用的平板可能是不同代的产品。

对想转型 FDE 的开发者来说，这项技能比想象中更容易证明。简历上不要只写“熟悉 TensorRT”，而要写一句带数字的话：“通过端侧推理把上传流量从 64 Mbit/s 降到每秒几十 KB；量化后准确率下降 X 个点”。

读岗位描述时，留意“on-prem”“edge”“customer site”这类字眼，这些岗位需要的正是这项技能。

下次车间主任再问“就在这儿能跑吗？”，最好的回答是一份填写完整的现场预算，外加一个在他们自家产品上测出来的准确率数字。

**本周动手试试:**

- 找一个小型图像分类模型，转换为 .tflite 并做训练后量化，然后在同样 200 张图片上和原模型对比准确率
- 为一个假设场景写一页“现场预算”：最长响应时间、上传带宽、可用功率和站点数量
- 重读一份提到 edge 或 on-prem 的 FDE 岗位描述，标出本文中你已经能用项目证明的技能

## 信源

- [What Is Edge AI and How Does It Work? (NVIDIA Blog)](https://blogs.nvidia.com/blog/what-is-edge-ai/)

- [What is Edge AI? (IBM Think)](https://www.ibm.com/think/topics/edge-ai)

- [Jetson Modules, Support, Ecosystem, and Lineup | NVIDIA Developer](https://developer.nvidia.com/embedded/jetson-modules)

- [What Is NVIDIA Jetson? A Beginner's Guide to Powerful Edge AI Modules](https://blog.aetherix.com/nvidia-jetson-beginners-guide/)

- [LiteRT overview (Google AI Edge)](https://developers.google.com/edge/litert/guide)

- [ExecuTorch Overview (PyTorch docs, v0.6)](https://docs.pytorch.org/executorch/0.6/intro-overview.html)
