云端跑得好的模型,为何到了传送带旁就失灵
先定设备、供电和几十个站点的铺开方案,再选 TensorRT、LiteRT 或 ExecuTorch。
要点速览
- 根据现场约束选运行时:响应时间、网络连接、供电和硬件型号数量
- TFLite 已更名为 LiteRT,PyTorch Mobile 已被 ExecuTorch 取代;在 Jetson 上,由 JetPack 中的 TensorRT 负责推理优化
- 量化之后,要在客户的真实数据上重新测准确率,并在与现场相同的温度和供电条件下做基准测试
你带着一个在云端表现不错的缺陷检测模型来到工厂。车间主任把你领到产线旁,指着传送带上方的一台摄像头。Wi-Fi 时断时续,电气柜摸上去发烫,他只问了一个问题:“就在这儿能跑吗?”
不少优秀的工程师会被这个问题难住,因为他们只往服务器上部署过。把模型带到现场是另一门手艺:要摸清现场的物理约束,选对运行时,还要为几十个站点做规划,而每个站点的硬件各不相同。
这也是前线部署工程师(FDE)能提供办公室里的模型团队给不了的价值的地方。他们交给你一个 checkpoint 文件,你的任务是把它变成一套系统,在客户真正生产或销售的地方跑起来。
边缘 AI 解决什么问题?
NVIDIA 对边缘 AI 的定义是:把 AI 应用部署在物理世界中的设备上,而不是云端数据中心。IBM 说得更具体:算法和模型直接在本地边缘设备上运行。定义很简单,难的是判断客户什么时候真正需要它。
通常有三个理由。第一是速度:据 IBM 介绍,所有处理都在设备上完成时,用户能更快得到响应。另外两个是带宽和隐私,NVIDIA 描述的模式是只把分析结果推送到云端,原始数据留在现场。
NVIDIA 举的两个例子与 FDE 常遇到的场景很接近。在工厂里,设备上的传感器检测故障,在机器需要维修时提醒管理人员。在零售业,商家希望顾客能用语音点单,以改善购物体验。
选硬件之前,先算预算
设想一条有 4 台摄像头的质检线。假设每张图片 200 KB,每台摄像头每秒拍 10 张。把所有图片都发到云端,就是 4 × 200 KB × 10 = 每秒 8 MB,相当于整个班次持续上传约 64 Mbit/s。
工厂的网络很少能稳定撑住这个量。如果模型就在摄像头旁边运行,每次推理只需发送一条几百字节的 JSON 记录,内容类似“摄像头 2,划痕缺陷,置信度 0.91”。
按每秒 40 次推理计算,链路上每秒只有几十 KB,而不是 8 MB,客户产品的图片也不会离开工厂。
到这一步才轮到硬件。据 NVIDIA 介绍,Jetson Orin Nano 以 Jetson 系列中最小的尺寸提供最高 67 TOPS 算力,功耗模式从 7 W 到 25 W。这个功耗范围直接影响设计:你要问清电气柜能供多少电,机箱能否散掉 25 W 的热量。
先分清硬件和运行时,再做选择
最常见的混淆是把 Jetson 当作 LiteRT 或 ExecuTorch 的替代品。Jetson 是硬件模块,上面的推理优化通常由 TensorRT 负责,因为 TensorRT 随 NVIDIA 的软件栈一起提供。
LiteRT 和 ExecuTorch 是另外的端侧框架;某一代 Jetson 能否把它们跑好,需要你自己验证,然后才能向客户承诺。
按这两层来思考:先根据现场约束选设备,再根据模型和客户团队选运行时。
第一种运行时是 TensorRT,它随 Jetson 硬件提供。Jetson 是系统级模块(SoM),需要插在载板上才能运行。NVIDIA 提供 JetPack SDK,这是一套用于在边缘开发和部署 AI 应用的完整软件包,其中包含用于推理优化的 TensorRT。产线质检是这一组合的典型场景。
第二种运行时是 LiteRT,即 TensorFlow Lite 的新名称。Google 将 LiteRT 描述为基于 TFLite 构建的端侧框架,旧的 TFLite 指南现在都会跳转到 LiteRT。流程分两步:把 PyTorch、JAX 或 TensorFlow 模型转换为 .tflite,再做训练后量化。
LiteRT 不只用于手机,也能把异常检测、传感器融合这类轻量模型带到微控制器和嵌入式设备上。
第三种运行时面向已经熟悉 PyTorch 的团队。ExecuTorch 是 PyTorch Mobile 的替代品,它不依赖 TorchScript,而是使用 PyTorch 2 的编译器和导出机制。据 PyTorch 文档介绍,ExecuTorch 的内存占用远低于 PyTorch Mobile,并且可以灵活调整。
本文附带的对比表概括了如何选择:带电气柜的多摄像头产线倾向 Jetson 配 TensorRT;极小设备上的振动或温度传感器倾向在微控制器上跑 LiteRT;PyTorch 团队开发的柜台平板应用倾向 ExecuTorch。每个选项都附有一个问题,拍板之前必须先问客户。
从 checkpoint 到设备
第一步,动手写代码之前先写一份“现场预算”。这一页记录最长响应时间(例如产品只在画面里停留半秒)、实测上传带宽、可用功率,以及要部署的站点数量。你会用同一页纸和客户约定“能跑”到底是什么意思。
第二步,对照对比表选定运行时,然后转换。用 LiteRT,就导出为 .tflite 并量化;用 ExecuTorch,就用 PyTorch 2 的工具链导出;在 Jetson 上用 TensorRT,就用 TensorRT 做优化。无论走哪条路,都要保留原始模型,作为对比的基准。
第三步,在客户工厂实拍的真实图片上重新测量压缩后模型的准确率,而不只是用办公室里的测试集。第四步,设计数据流,只让结果上传到云端。
第五步,为每个站点的每台设备做规划:IBM 提醒,把分布式 AI 扩展到多个站点,会遇到数据引力、异构硬件、规模和资源约束等问题。
代价最大的错误往往不在模型本身
最常见的错误是在有散热风扇的桌面上做基准测试,然后在盛夏把设备装进密封的电气柜。功耗范围在 7 W 到 25 W 的设备,不同功耗模式下的表现差别很大,所以要按现场实际使用的模式来测。
第二个错误是量化后不重新测量,直到客户发现误报的缺陷越来越多才察觉。
第三个错误是按演示阶段的思路做规划。买了 Jetson 模块却忘了载板,或者在已有 ExecuTorch 的情况下,交接文档里还写着 PyTorch Mobile,都会浪费客户运维团队的时间。
第四个错误是把 30 家门店当成一模一样,实际上每家店用的平板可能是不同代的产品。
对想转型 FDE 的开发者来说,这项技能比想象中更容易证明。简历上不要只写“熟悉 TensorRT”,而要写一句带数字的话:“通过端侧推理把上传流量从 64 Mbit/s 降到每秒几十 KB;量化后准确率下降 X 个点”。
读岗位描述时,留意“on-prem”“edge”“customer site”这类字眼,这些岗位需要的正是这项技能。
下次车间主任再问“就在这儿能跑吗?”,最好的回答是一份填写完整的现场预算,外加一个在他们自家产品上测出来的准确率数字。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- What Is Edge AI and How Does It Work? (NVIDIA Blog) · 2022-02-17
- What is Edge AI? (IBM Think) · 2023-08-25
- Jetson Modules, Support, Ecosystem, and Lineup | NVIDIA Developer
- What Is NVIDIA Jetson? A Beginner's Guide to Powerful Edge AI Modules
- LiteRT overview (Google AI Edge) · 2026-09-25
- ExecuTorch Overview (PyTorch docs, v0.6)