# 黄金数据集该由客户的专家来标，而不是工程师

> Label Studio 开源，一个 Docker 容器就能运行，法务和医生可以在客户自己的基础设施里标注数据。

原文: https://fdetimes.net/zh/tools/label-studio-golden-dataset-docker/

在客户现场做 AI 项目时，知道正确答案的人几乎从来不是写代码的人，而往往是法务专员、医生或客服班组长。他们不会打开 notebook，也不应该被要求这么做。

想让他们坐下来标注两百条样本，就得交给他们一个足够好用的界面。Label Studio 要填补的正是这个空缺：HumanSignal 将它定位为一个用于数据标注、AI 评测和人在回路（human-in-the-loop）工作流的开源平台。

对前线部署工程师（FDE）来说，这款工具开源、能在容器里运行，有很实际的意义：可以把它部署在客户基础设施内部的机器上，敏感数据不必离开客户环境。

FDE 用这款工具做得最多的事，是构建**黄金数据集**（golden set）：一组答案经专家确认的样本。评测和后续的任何微调都依赖它。

## 什么时候需要它？

最明显的信号是：和客户开会时，讨论开始围着“这个模型回答到底对不对”打转，却没人能给出一致的答案。这时缺的不是更好的模型，而是一套由懂业务的人锁定的答案。

HumanSignal 的文档提醒，如果不评审标注数据的质量，劣质标签可能混进模型训练。对评测而言代价更高：你会在不知情的情况下，用一把坏掉的尺子给模型打分。

Label Studio 还能连接机器学习模型，既可以让模型提出标签供人审核，也可以用来评测模型。因此，同一个实例可以陪你从构建数据一直走到打分。

## 一个下午做出黄金数据集

假设你在为一家保险公司的客服团队开发邮件回复助手。这个下午的目标：200 封真实邮件，每封都带有一个意图标签，且班组长认可标签正确。

**第一步：启动服务。** 官方安装文档和 Docker Hub 上的镜像页给出的是同一条 `docker run` 命令。为便于阅读拆成多行，如下所示：

```bash
docker run -it \
  -v $(pwd)/golden-set:/label-studio/data \
  -p 8080:8080 \
  heartexlabs/label-studio:latest
```

这条命令开放 8080 端口，并把一个本地文件夹挂载到 `/label-studio/data`，这样容器停止后数据仍然保留。文档里的文件夹名是 `mydata`，这里改成 `golden-set`，更容易辨认。不用 Docker 的话，也可以用 `pip install label-studio` 安装。

**第二步：创建项目和界面。** 打开 `localhost:8080`，注册账号并登录。所有标注都在项目里进行，所以先建一个项目。

配置项目时，可以选一个现成模板作为起点，再加以修改。选文本分类模板，把标签列表换成班组长命名的意图。用客户的说法，而不是工程师的说法。

**第三步：两位专家在同一批 200 封邮件上独立标注。** 文档指出，一致性低的任务扎堆出现，可能说明任务本身容易混淆；标注者间一致性可以用来确定标准答案（ground truth）。

注意：设置每条样本的标注人数（重叠标注，overlap）只在付费版提供。在社区版（Community）中，可以用同一批数据建两个项目，让两位专家各做一个，再用脚本比较两组标签。

假设两人在 170 封邮件上意见一致，在 30 封上有分歧。这 30 处分歧是一整天收获中最有价值的部分，因为它们暴露了标签定义中仍然模糊的地方。

**第四步：评审分歧，然后锁定标准答案。** 和两位专家坐在一起，逐条过一遍，修订标注规范，然后才标出最终答案。修订后的规范里可能有这样一条：“邮件既咨询保费又要求退保的：标为‘退保’，因为这是必须优先处理的事。”

把某条标注标记为标准答案集的功能，同样在付费版里。在社区版中，把锁定的答案记录在第三步的比较脚本里，让这个文件而不是界面成为唯一可信来源。

**要点:** 两位专家意见不一致的样本，比意见一致的样本告诉你更多。

**第五步：接入评测。** 从最初几条样本开始，就写一个小脚本，把标注输出转换成评测套件读取的格式，不要拖到最后。最简单的做法是让每行 JSONL 只保留三个字段：任务 ID、文本和标准标签。

```json
{"task_id": 17, "text": "我想退保，另外这个月我的保费为什么涨了？", "gold_label": "退保"}
{"task_id": 18, "text": "请问我下一次缴保费是什么时候？", "gold_label": "保费咨询"}
```

运行评测时，脚本只需让模型读取 `text`，把模型的回答和 `gold_label` 比较，并保留 `task_id`，以便在 Label Studio 里回溯到对应的邮件。保留 `task_id`，就能当着专家的面重新打开模型答错的那一条。

## 哪些限制要提前告诉客户？

最大的限制是版本。根据 Label Studio 的版本对比页，重叠标注、分配评审人和标记标准答案都属于付费版；衡量标注者间一致性的指南也写明需要付费产品。

两个项目加脚本的变通办法依然可行，但在承诺工作流之前，要先跟客户讲清楚。

其次，每个任务只能把一条标注设为标准答案。如果一封邮件有两种同样说得通的理解，你只能选其一，所以要事先决定按完全匹配打分，还是按评分细则（rubric）打分。

一致性高也只是信号，不是证明。接受过同样培训的两个人，可能以同样的方式犯错，所以不要把一致性数字当作准确率来汇报。

最后一个陷阱是预标注。让模型先提出标签再由人审核，能节省制作训练数据的时间。但对于要给同一个模型打分的黄金数据集，审核者很容易被模型的建议带偏，所以至少在评测集上，要让专家从零开始标注。

## 先学什么，简历上写什么

首先要学的不是配置语法，而是如何写标注规范：每个标签的定义、处于边界的示例，以及疑难情况的处理规则。工具只负责记录专家的判断，塑造判断的是规范。

然后把完整流程练一遍：启动实例、修改模板、两人标注、评审分歧、把结果接入评测脚本。清楚知道社区版能做到哪一步，本身也是一项技能，因为它决定了你能向客户承诺什么。

写简历或面试 FDE 岗位时，像“与客户的两位专家搭建标注工作流，200 条样本，经两轮规范修订后一致性提升”这样的一句话，能说明你会把领域知识转化为可衡量的数据。在职位描述中，可以留意“golden dataset”“human evaluation”或“annotation workflow”这类说法。

在一个项目的生命周期里，模型会被换掉好几次。由客户自己的专家签字确认的黄金数据集，在每一次更换中都依然有用。

**本周动手试试:**

- 在自己的机器上运行 docker run 命令，注册账号、创建项目，选择文本分类模板，并按你遇到过的一个真实问题修改标签。
- 取 30 条样本，请两位同事独立标注，记下两人意见不一致的样本，并根据这些样本重写标注规范。
- 在简历上加一句具体的话：你为多少条样本搭建了标注工作流，有几位专家参与，规范修订后一致性如何变化。

## 信源

- [Open Source Data Labeling and AI Evaluation | Label Studio](https://labelstud.io/)

- [Label Studio Documentation — Install and Upgrade Label Studio](https://labelstud.io/guide/install)

- [heartexlabs/label-studio - Docker Hub](https://hub.docker.com/r/heartexlabs/label-studio)

- [Getting Started With Label Studio: A Step-By-Step Guide](https://labelstud.io/learn/getting-started-with-label-studio/setting-up-label-studio)

- [Set up your labeling project](https://labelstud.io/guide/setup_project)

- [Compare Label Studio Editions](https://labelstud.io/guide/label_studio_compare)

- [Review annotations in Label Studio](https://docs.humansignal.com/guide/quality)

- [How to Measure Inter-Annotator Agreement and Build Human Consensus with Label Studio](https://docs.humansignal.com/tutorials/how_to_measure_inter_annotator_agreement_and_build_human_consensus)

- [Integrate Label Studio into your machine learning pipeline](https://labelstud.io/guide/ml)
