用 AI 读现场照片,先手工录一份标准答案
现场照片、手写表单和手机视频怎么读:从图像预处理、detail 参数到视频采样,再到模型仍会出错之处。
要点速览
- 大多数读图错误源于输入:照片旋转或倒置、文字太小,以及超大文件被直接拒收,而不会自动缩小。
- 模型计数只是大致准确,定位能力弱,也可能读错非拉丁文字,越南语声调符号需要单独测试。
- 视频默认按每秒 1 帧采样;对快速发生的事件,应提高 fps、截取对应片段并按时间戳提问。
一名技术员隔着整个房间,把手机横过来,拍下一张检查单。上面是越南语手写字,满是声调符号;随之发来的还有一段三分钟的传送带视频,真正要紧的事只发生在半秒之内。现场人员拍照,从来不会像样例文档那样规整。
在干净图像上做的演示看起来很好。只有客户的真实图像,才能检验一条流程是否真的可用。
对前线部署工程师(FDE)来说,这种情况司空见惯:客户递来一个文件夹,里面有照片、扫描 PDF 和视频,然后问:“AI 能读懂这些吗?”本指南介绍如何搭建一条小型流程,读取这三类输入,在每一步检查结果,并指出模型容易出错的地方。
要做什么,需要准备什么
假设有一家做工厂设备维护的客户。他们发来三样东西:一张损坏水泵的照片,一张手写检查表的照片,以及一段用手机拍的生产线视频。他们想要的输出是工程师可以审核的结构化 JSON,而不是一段泛泛的描述。
基础是视觉语言模型(VLM)。Hugging Face 将其定义为能够同时理解和处理图像与文本的模型。你需要一个能读图的模型的 API key(本指南以 OpenAI 的文档为例),一个能读视频的模型(本指南使用 Gemini),以及客户提供的约 20 个真实样本。
最重要的准备工作不是代码,而是标准答案。每张表单,都由你亲手录入正确内容;每段视频,都记下需要捕捉的事件的时间戳。没有标准答案,就无从判断模型读得对不对。
第 1 步:错误通常始于输入图像
OpenAI 的视觉文档写得很明白:对于旋转或倒置的文字和图像,模型可能理解错误。现场用手机拍的照片恰恰常常如此。所以第一件事是在发送前统一图像方向,用你熟悉的任意图像处理库即可。
第二件事是小字。对于远距离拍摄的表单,OpenAI 建议放大图中的文字,让模型更容易识别。实际操作中,可以把手写区域裁出来单独放大,而不是发送整张图、让文字缩在一角。
第三件事最常被忽略:检查尺寸。一次请求发送多张图像时有载荷上限;文档还指出,处理后超过 30,000 个 patch 的图像会被拒收,而不会自动缩小。如果客户上传的是专业相机拍的超大文件,流程必须在发送前先缩小。
**第 1 步检查:**打开 10 张处理后的图像,自己读一遍。如果你需要歪头或眯眼才能看清,模型也会很吃力。
第 2 步:选择图像传入方式,测试 detail 参数
OpenAI 支持三种传入图像的方式:URL、Base64 data URL 或文件 ID。如果客户的图像存放在外部无法访问的内网,URL 就行不通,Base64 通常是最简单的选择。下面的请求结构是简化版,具体字段名请对照所用 API 的文档核实:
{
"role": "user",
"content": [
{ "type": "text", "text": "读取这张检查表,并返回 JSON。" },
{ "type": "image", "image_url": "data:image/jpeg;base64,<...>", "detail": "high" }
]
}
detail 参数决定图像如何预处理。low 设置给出的是粗略结果,而且文档明确说明,low 并不总是比 high 用的 token 更少。所以不要为了省钱默认用 low。把同一张图分别用两种设置发送,记录每次的 token 数和正确读出的字段数。
第 3 步:读手写表单,但别完全信任模型
OpenAI 文档列出了几项已知局限:模型计数只是大致准确,定位图中物体的能力较弱,对非拉丁文字的处理也还不够好。越南语使用拉丁字母,但带有大量声调符号,因此要单独测试这些符号,不要想当然地认为模型会读对。
如果越南语的“水泵损坏”返回时丢了声调符号,读者也许仍能看懂。但如果是人名或零件名,声调符号错了,信息就错了。
考虑到这些局限,提示词应当给模型留出表示“不确定”的余地:
读取图中的检查表。返回包含以下字段的 JSON:
equipment_id, inspection_date, inspector, condition, notes。
如果某个字段无法清晰辨认,填写 "UNREADABLE",不要猜测。
越南语声调符号须与图中完全一致。
对于损坏水泵的照片,不要让模型做“数一数有几颗螺栓生锈”或“给出裂缝的精确坐标”这类任务。这些正是文档警告过的计数和定位任务。
改问描述性问题,例如是否有泄漏迹象,数字则交给人来确认。
**第 3 步检查:**把 JSON 与标准答案逐字段比对,而不是逐张图比对。你会立刻看出哪些字段经常出错,通常是带声调符号的专有名称和手写数字。
第 4 步:视频按每秒 1 帧采样
Gemini 默认按每秒 1 帧对视频采样。在传送带视频里,如果产品在半秒内掉落,模型可能根本看不到那一帧。
可以在 processing 配置对象中传入 fps 参数来修改采样率,并限定要分析的视频片段。下面的代码片段同样是简化版,仅用于说明思路:
{
"processing": { "fps": 5 }
}
也可以用 MM:SS 时间戳询问某个具体时刻:
在 02:14,传送带上的产品有没有掉落?
描述 02:10 到 02:20 之间传送带的状态。
成本也要提前算好。在默认(低)分辨率下,视频每秒约消耗 100 token。一段 10 分钟的视频是 600 秒,每个问题约 60,000 token。截取所需的 2 分钟,就降到约 12,000。
这一估算假设的是默认的每秒 1 帧;提高 fps 后,要重新测量实际 token 数,不要沿用旧数字。
Google 还推出了智能体式视频理解(agentic video understanding),可通过 API 中的一项设置开启。它针对的正是这个问题:捕捉瞬间发生、在 1 FPS 下容易漏掉的状态变化。如果客户需要捕捉这类短暂时刻,值得把它与自行提高 fps 的做法对比测试。
第 5 步:脏数据才是常态
Splunk 在介绍多模态 AI 时提到三个难点:噪声程度不一、数据缺失,以及多来源数据的融合。在现场,这三者会同时出现:照片模糊、表单缺页、视频与书面记录对不上。流程必须把这当作常态,而不是例外。
| 输入 | 常见错误 | 首要修复 |
|---|---|---|
| 现场照片 | 倒置,超大文件被拒收 | 统一方向,发送前缩小 |
| 手写表单 | 文字太小,越南语声调符号错误 | 裁剪并放大文字区域,允许回答“无法辨认” |
| 手机视频 | 1 FPS 下漏掉快速事件 | 截取所需片段,提高 fps,按 MM:SS 提问 |
这项技能在实际工作中如何体现
在客户现场,难点不在调用 API,而在于如实说明准确率。做演示时,给客户看一份基于他们自己数据的逐字段评分表:设备名称对了百分之多少,日期对了多少,哪些字段需要人工审核。
这样一张表,远比一张运行完美的演示图更有说服力。
阅读 FDE 岗位描述时,留意“unstructured data”“document processing”或“multimodal”这类字眼。在简历上,不要只写“用过 GPT-4 Vision”,而要具体说明:通过旋转图像、裁剪文字区域,你把越南语手写表单的准确率提高了多少。这个数字能证明你处理过真实数据。
客户发来的第一张歪斜照片是个好兆头。这说明你已经在处理客户的真实数据,演示阶段已经过去了。
这篇文章对你有帮助吗?
感谢你的反馈!