# 用 AI 读现场照片，先手工录一份标准答案

> 现场照片、手写表单和手机视频怎么读：从图像预处理、detail 参数到视频采样，再到模型仍会出错之处。

原文: https://fdetimes.net/zh/guides/vision-models-field-photos-handwritten-forms-video/

一名技术员隔着整个房间，把手机横过来，拍下一张检查单。上面是越南语手写字，满是声调符号；随之发来的还有一段三分钟的传送带视频，真正要紧的事只发生在半秒之内。现场人员拍照，从来不会像样例文档那样规整。

在干净图像上做的演示看起来很好。只有客户的真实图像，才能检验一条流程是否真的可用。

对前线部署工程师（FDE）来说，这种情况司空见惯：客户递来一个文件夹，里面有照片、扫描 PDF 和视频，然后问：“AI 能读懂这些吗？”本指南介绍如何搭建一条小型流程，读取这三类输入，在每一步检查结果，并指出模型容易出错的地方。

## 要做什么，需要准备什么

假设有一家做工厂设备维护的客户。他们发来三样东西：一张损坏水泵的照片，一张手写检查表的照片，以及一段用手机拍的生产线视频。他们想要的输出是工程师可以审核的结构化 JSON，而不是一段泛泛的描述。

基础是视觉语言模型（VLM）。Hugging Face 将其定义为能够同时理解和处理图像与文本的模型。你需要一个能读图的模型的 API key（本指南以 OpenAI 的文档为例），一个能读视频的模型（本指南使用 Gemini），以及客户提供的约 20 个真实样本。

最重要的准备工作不是代码，而是**标准答案**。每张表单，都由你亲手录入正确内容；每段视频，都记下需要捕捉的事件的时间戳。没有标准答案，就无从判断模型读得对不对。

## 第 1 步：错误通常始于输入图像

OpenAI 的视觉文档写得很明白：对于旋转或倒置的文字和图像，模型可能理解错误。现场用手机拍的照片恰恰常常如此。所以第一件事是在发送前统一图像方向，用你熟悉的任意图像处理库即可。

第二件事是小字。对于远距离拍摄的表单，OpenAI 建议放大图中的文字，让模型更容易识别。实际操作中，可以把手写区域裁出来单独放大，而不是发送整张图、让文字缩在一角。

第三件事最常被忽略：检查尺寸。一次请求发送多张图像时有载荷上限；文档还指出，处理后超过 30,000 个 patch 的图像会**被拒收，而不会自动缩小**。如果客户上传的是专业相机拍的超大文件，流程必须在发送前先缩小。

**第 1 步检查：**打开 10 张处理后的图像，自己读一遍。如果你需要歪头或眯眼才能看清，模型也会很吃力。

## 第 2 步：选择图像传入方式，测试 detail 参数

OpenAI 支持三种传入图像的方式：URL、Base64 data URL 或文件 ID。如果客户的图像存放在外部无法访问的内网，URL 就行不通，Base64 通常是最简单的选择。下面的请求结构是**简化版**，具体字段名请对照所用 API 的文档核实：

```json
{
  "role": "user",
  "content": [
    { "type": "text", "text": "读取这张检查表，并返回 JSON。" },
    { "type": "image", "image_url": "data:image/jpeg;base64,<...>", "detail": "high" }
  ]
}
```

`detail` 参数决定图像如何预处理。`low` 设置给出的是粗略结果，而且文档明确说明，`low` **并不总是比 `high` 用的 token 更少**。所以不要为了省钱默认用 `low`。把同一张图分别用两种设置发送，记录每次的 token 数和正确读出的字段数。

## 第 3 步：读手写表单，但别完全信任模型

OpenAI 文档列出了几项已知局限：模型计数只是大致准确，定位图中物体的能力较弱，对非拉丁文字的处理也还不够好。越南语使用拉丁字母，但带有大量声调符号，因此要单独测试这些符号，不要想当然地认为模型会读对。

如果越南语的“水泵损坏”返回时丢了声调符号，读者也许仍能看懂。但如果是人名或零件名，声调符号错了，信息就错了。

考虑到这些局限，提示词应当给模型留出表示“不确定”的余地：

```text
读取图中的检查表。返回包含以下字段的 JSON：
equipment_id, inspection_date, inspector, condition, notes。
如果某个字段无法清晰辨认，填写 "UNREADABLE"，不要猜测。
越南语声调符号须与图中完全一致。
```

对于损坏水泵的照片，不要让模型做“数一数有几颗螺栓生锈”或“给出裂缝的精确坐标”这类任务。这些正是文档警告过的计数和定位任务。

改问描述性问题，例如是否有泄漏迹象，数字则交给人来确认。

**第 3 步检查：**把 JSON 与标准答案逐字段比对，而不是逐张图比对。你会立刻看出哪些字段经常出错，通常是带声调符号的专有名称和手写数字。

## 第 4 步：视频按每秒 1 帧采样

Gemini 默认按每秒 1 帧对视频采样。在传送带视频里，如果产品在半秒内掉落，模型可能根本看不到那一帧。

可以在 `processing` 配置对象中传入 `fps` 参数来修改采样率，并限定要分析的视频片段。下面的代码片段同样是**简化版**，仅用于说明思路：

```json
{
  "processing": { "fps": 5 }
}
```

也可以用 `MM:SS` 时间戳询问某个具体时刻：

```text
在 02:14，传送带上的产品有没有掉落？
描述 02:10 到 02:20 之间传送带的状态。
```

成本也要提前算好。在默认（低）分辨率下，视频每秒约消耗 100 token。一段 10 分钟的视频是 600 秒，每个问题约 60,000 token。截取所需的 2 分钟，就降到约 12,000。

这一估算假设的是默认的每秒 1 帧；提高 fps 后，要重新测量实际 token 数，不要沿用旧数字。

Google 还推出了智能体式视频理解（agentic video understanding），可通过 API 中的一项设置开启。它针对的正是这个问题：捕捉瞬间发生、在 1 FPS 下容易漏掉的状态变化。如果客户需要捕捉这类短暂时刻，值得把它与自行提高 fps 的做法对比测试。

## 第 5 步：脏数据才是常态

Splunk 在介绍多模态 AI 时提到三个难点：噪声程度不一、数据缺失，以及多来源数据的融合。在现场，这三者会同时出现：照片模糊、表单缺页、视频与书面记录对不上。流程必须把这当作常态，而不是例外。

| 输入 | 常见错误 | 首要修复 |
|---|---|---|
| 现场照片 | 倒置，超大文件被拒收 | 统一方向，发送前缩小 |
| 手写表单 | 文字太小，越南语声调符号错误 | 裁剪并放大文字区域，允许回答“无法辨认” |
| 手机视频 | 1 FPS 下漏掉快速事件 | 截取所需片段，提高 fps，按 MM:SS 提问 |

## 这项技能在实际工作中如何体现

在客户现场，难点不在调用 API，而在于如实说明准确率。做演示时，给客户看一份基于他们自己数据的逐字段评分表：设备名称对了百分之多少，日期对了多少，哪些字段需要人工审核。

这样一张表，远比一张运行完美的演示图更有说服力。

阅读 FDE 岗位描述时，留意“unstructured data”“document processing”或“multimodal”这类字眼。在简历上，不要只写“用过 GPT-4 Vision”，而要具体说明：通过旋转图像、裁剪文字区域，你把越南语手写表单的准确率提高了多少。这个数字能证明你处理过真实数据。

客户发来的第一张歪斜照片是个好兆头。这说明你已经在处理客户的真实数据，演示阶段已经过去了。

**本周动手试试:**

- 拍摄 10 张越南语手写表单（包括倾斜拍摄和远距离拍摄的），亲手录入标准答案，然后对比旋转图像、裁剪并放大文字区域前后的模型结果
- 把同一张图分别以 detail 为 low 和 high 发送，记录每次的 token 数和准确率
- 录一段 60 秒的视频，其中包含一个持续不到一秒的事件，分别在默认 fps 和更高 fps 下向模型提问，再比较两次回答

## 信源

- [Images and vision - OpenAI API](https://developers.openai.com/api/docs/guides/images-vision)

- [Video understanding - Gemini API](https://ai.google.dev/gemini-api/docs/video-understanding)

- [Introducing agentic video understanding with Gemini](https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/)

- [A Multimodal World - Hugging Face Computer Vision Course](https://huggingface.co/learn/computer-vision-course/en/unit4/multimodal-models/a_multimodal_world)

- [What Is Multimodal AI? A Complete Introduction](https://www.splunk.com/en_us/blog/learn/multimodal-ai.html)
