FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

用 AI 读现场照片,先手工录一份标准答案

现场照片、手写表单和手机视频怎么读:从图像预处理、detail 参数到视频采样,再到模型仍会出错之处。

分享微博

要点速览

  • 大多数读图错误源于输入:照片旋转或倒置、文字太小,以及超大文件被直接拒收,而不会自动缩小。
  • 模型计数只是大致准确,定位能力弱,也可能读错非拉丁文字,越南语声调符号需要单独测试。
  • 视频默认按每秒 1 帧采样;对快速发生的事件,应提高 fps、截取对应片段并按时间戳提问。
图中主体是橙色的数字“每次查询 12,000 token”。下方有两条横条:较长的灰色横条代表 10 分钟视频,约 60,000 token;长度为其五分之一的橙色横条代表截取到 2 分钟的视频。在低分辨率下,Gemini 每秒视频约消耗 100 token。
在默认(低)分辨率、每秒 1 帧的条件下,只发送关键的 2 分钟而非完整的 10 分钟,每次查询的 token 数降至五分之一。如果提高帧率,需要重新测量 token 用量。来源:Gemini API 文档,引自本文。

一名技术员隔着整个房间,把手机横过来,拍下一张检查单。上面是越南语手写字,满是声调符号;随之发来的还有一段三分钟的传送带视频,真正要紧的事只发生在半秒之内。现场人员拍照,从来不会像样例文档那样规整。

在干净图像上做的演示看起来很好。只有客户的真实图像,才能检验一条流程是否真的可用。

对前线部署工程师(FDE)来说,这种情况司空见惯:客户递来一个文件夹,里面有照片、扫描 PDF 和视频,然后问:“AI 能读懂这些吗?”本指南介绍如何搭建一条小型流程,读取这三类输入,在每一步检查结果,并指出模型容易出错的地方。

要做什么,需要准备什么

假设有一家做工厂设备维护的客户。他们发来三样东西:一张损坏水泵的照片,一张手写检查表的照片,以及一段用手机拍的生产线视频。他们想要的输出是工程师可以审核的结构化 JSON,而不是一段泛泛的描述。

基础是视觉语言模型(VLM)。Hugging Face 将其定义为能够同时理解和处理图像与文本的模型。你需要一个能读图的模型的 API key(本指南以 OpenAI 的文档为例),一个能读视频的模型(本指南使用 Gemini),以及客户提供的约 20 个真实样本。

最重要的准备工作不是代码,而是标准答案。每张表单,都由你亲手录入正确内容;每段视频,都记下需要捕捉的事件的时间戳。没有标准答案,就无从判断模型读得对不对。

第 1 步:错误通常始于输入图像

OpenAI 的视觉文档写得很明白:对于旋转或倒置的文字和图像,模型可能理解错误。现场用手机拍的照片恰恰常常如此。所以第一件事是在发送前统一图像方向,用你熟悉的任意图像处理库即可。

第二件事是小字。对于远距离拍摄的表单,OpenAI 建议放大图中的文字,让模型更容易识别。实际操作中,可以把手写区域裁出来单独放大,而不是发送整张图、让文字缩在一角。

第三件事最常被忽略:检查尺寸。一次请求发送多张图像时有载荷上限;文档还指出,处理后超过 30,000 个 patch 的图像会被拒收,而不会自动缩小。如果客户上传的是专业相机拍的超大文件,流程必须在发送前先缩小。

**第 1 步检查:**打开 10 张处理后的图像,自己读一遍。如果你需要歪头或眯眼才能看清,模型也会很吃力。

第 2 步:选择图像传入方式,测试 detail 参数

OpenAI 支持三种传入图像的方式:URL、Base64 data URL 或文件 ID。如果客户的图像存放在外部无法访问的内网,URL 就行不通,Base64 通常是最简单的选择。下面的请求结构是简化版,具体字段名请对照所用 API 的文档核实:

{
  "role": "user",
  "content": [
    { "type": "text", "text": "读取这张检查表,并返回 JSON。" },
    { "type": "image", "image_url": "data:image/jpeg;base64,<...>", "detail": "high" }
  ]
}

detail 参数决定图像如何预处理。low 设置给出的是粗略结果,而且文档明确说明,low 并不总是比 high 用的 token 更少。所以不要为了省钱默认用 low。把同一张图分别用两种设置发送,记录每次的 token 数和正确读出的字段数。

第 3 步:读手写表单,但别完全信任模型

OpenAI 文档列出了几项已知局限:模型计数只是大致准确,定位图中物体的能力较弱,对非拉丁文字的处理也还不够好。越南语使用拉丁字母,但带有大量声调符号,因此要单独测试这些符号,不要想当然地认为模型会读对。

如果越南语的“水泵损坏”返回时丢了声调符号,读者也许仍能看懂。但如果是人名或零件名,声调符号错了,信息就错了。

考虑到这些局限,提示词应当给模型留出表示“不确定”的余地:

读取图中的检查表。返回包含以下字段的 JSON:
equipment_id, inspection_date, inspector, condition, notes。
如果某个字段无法清晰辨认,填写 "UNREADABLE",不要猜测。
越南语声调符号须与图中完全一致。

对于损坏水泵的照片,不要让模型做“数一数有几颗螺栓生锈”或“给出裂缝的精确坐标”这类任务。这些正是文档警告过的计数和定位任务。

改问描述性问题,例如是否有泄漏迹象,数字则交给人来确认。

**第 3 步检查:**把 JSON 与标准答案逐字段比对,而不是逐张图比对。你会立刻看出哪些字段经常出错,通常是带声调符号的专有名称和手写数字。

第 4 步:视频按每秒 1 帧采样

Gemini 默认按每秒 1 帧对视频采样。在传送带视频里,如果产品在半秒内掉落,模型可能根本看不到那一帧。

可以在 processing 配置对象中传入 fps 参数来修改采样率,并限定要分析的视频片段。下面的代码片段同样是简化版,仅用于说明思路:

{
  "processing": { "fps": 5 }
}

也可以用 MM:SS 时间戳询问某个具体时刻:

在 02:14,传送带上的产品有没有掉落?
描述 02:10 到 02:20 之间传送带的状态。

成本也要提前算好。在默认(低)分辨率下,视频每秒约消耗 100 token。一段 10 分钟的视频是 600 秒,每个问题约 60,000 token。截取所需的 2 分钟,就降到约 12,000。

这一估算假设的是默认的每秒 1 帧;提高 fps 后,要重新测量实际 token 数,不要沿用旧数字。

Google 还推出了智能体式视频理解(agentic video understanding),可通过 API 中的一项设置开启。它针对的正是这个问题:捕捉瞬间发生、在 1 FPS 下容易漏掉的状态变化。如果客户需要捕捉这类短暂时刻,值得把它与自行提高 fps 的做法对比测试。

第 5 步:脏数据才是常态

Splunk 在介绍多模态 AI 时提到三个难点:噪声程度不一、数据缺失,以及多来源数据的融合。在现场,这三者会同时出现:照片模糊、表单缺页、视频与书面记录对不上。流程必须把这当作常态,而不是例外。

输入 常见错误 首要修复
现场照片 倒置,超大文件被拒收 统一方向,发送前缩小
手写表单 文字太小,越南语声调符号错误 裁剪并放大文字区域,允许回答“无法辨认”
手机视频 1 FPS 下漏掉快速事件 截取所需片段,提高 fps,按 MM:SS 提问

这项技能在实际工作中如何体现

在客户现场,难点不在调用 API,而在于如实说明准确率。做演示时,给客户看一份基于他们自己数据的逐字段评分表:设备名称对了百分之多少,日期对了多少,哪些字段需要人工审核。

这样一张表,远比一张运行完美的演示图更有说服力。

阅读 FDE 岗位描述时,留意“unstructured data”“document processing”或“multimodal”这类字眼。在简历上,不要只写“用过 GPT-4 Vision”,而要具体说明:通过旋转图像、裁剪文字区域,你把越南语手写表单的准确率提高了多少。这个数字能证明你处理过真实数据。

客户发来的第一张歪斜照片是个好兆头。这说明你已经在处理客户的真实数据,演示阶段已经过去了。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用只训练 0.07% 参数,用 LoRA 做工单分类器LoRA 不需要 GPU 集群,决定效果的是一致的标签和只跑一次的测试集。