FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

黄金数据集该由客户的专家来标,而不是工程师

Label Studio 开源,一个 Docker 容器就能运行,法务和医生可以在客户自己的基础设施里标注数据。

分享微博

要点速览

  • Label Studio 是 HumanSignal 推出的开源平台,用于数据标注、AI 评测和人在回路工作,一条 docker run 命令即可运行。
  • 构建黄金数据集的流程是:选模板、两名标注者、评审分歧、锁定标准答案、接入评测;其中几个步骤需要付费版。
  • 对 FDE 来说,最大的价值在于界面足够简单,客户的领域专家可以自己完成标注,不必经过工程师。
一条横向条形图,代表 200 封邮件:其中 170 封两位专家给出相同标签(灰色),30 封标签冲突(橙色)。一条标注指向这 30 处分歧:逐条评审并修正标注规范。
基于文中的假设示例:200 封邮件中,两位专家独立标注,170 封意见一致,30 封存在分歧。这 30 个案例揭示了哪些标签定义仍不明确。来源:文中的示意案例(一家保险公司的邮件助手)。

在客户现场做 AI 项目时,知道正确答案的人几乎从来不是写代码的人,而往往是法务专员、医生或客服班组长。他们不会打开 notebook,也不应该被要求这么做。

想让他们坐下来标注两百条样本,就得交给他们一个足够好用的界面。Label Studio 要填补的正是这个空缺:HumanSignal 将它定位为一个用于数据标注、AI 评测和人在回路(human-in-the-loop)工作流的开源平台。

对前线部署工程师(FDE)来说,这款工具开源、能在容器里运行,有很实际的意义:可以把它部署在客户基础设施内部的机器上,敏感数据不必离开客户环境。

FDE 用这款工具做得最多的事,是构建黄金数据集(golden set):一组答案经专家确认的样本。评测和后续的任何微调都依赖它。

什么时候需要它?

最明显的信号是:和客户开会时,讨论开始围着“这个模型回答到底对不对”打转,却没人能给出一致的答案。这时缺的不是更好的模型,而是一套由懂业务的人锁定的答案。

HumanSignal 的文档提醒,如果不评审标注数据的质量,劣质标签可能混进模型训练。对评测而言代价更高:你会在不知情的情况下,用一把坏掉的尺子给模型打分。

Label Studio 还能连接机器学习模型,既可以让模型提出标签供人审核,也可以用来评测模型。因此,同一个实例可以陪你从构建数据一直走到打分。

一个下午做出黄金数据集

假设你在为一家保险公司的客服团队开发邮件回复助手。这个下午的目标:200 封真实邮件,每封都带有一个意图标签,且班组长认可标签正确。

第一步:启动服务。 官方安装文档和 Docker Hub 上的镜像页给出的是同一条 docker run 命令。为便于阅读拆成多行,如下所示:

docker run -it \
  -v $(pwd)/golden-set:/label-studio/data \
  -p 8080:8080 \
  heartexlabs/label-studio:latest

这条命令开放 8080 端口,并把一个本地文件夹挂载到 /label-studio/data,这样容器停止后数据仍然保留。文档里的文件夹名是 mydata,这里改成 golden-set,更容易辨认。不用 Docker 的话,也可以用 pip install label-studio 安装。

第二步:创建项目和界面。 打开 localhost:8080,注册账号并登录。所有标注都在项目里进行,所以先建一个项目。

配置项目时,可以选一个现成模板作为起点,再加以修改。选文本分类模板,把标签列表换成班组长命名的意图。用客户的说法,而不是工程师的说法。

第三步:两位专家在同一批 200 封邮件上独立标注。 文档指出,一致性低的任务扎堆出现,可能说明任务本身容易混淆;标注者间一致性可以用来确定标准答案(ground truth)。

注意:设置每条样本的标注人数(重叠标注,overlap)只在付费版提供。在社区版(Community)中,可以用同一批数据建两个项目,让两位专家各做一个,再用脚本比较两组标签。

假设两人在 170 封邮件上意见一致,在 30 封上有分歧。这 30 处分歧是一整天收获中最有价值的部分,因为它们暴露了标签定义中仍然模糊的地方。

第四步:评审分歧,然后锁定标准答案。 和两位专家坐在一起,逐条过一遍,修订标注规范,然后才标出最终答案。修订后的规范里可能有这样一条:“邮件既咨询保费又要求退保的:标为‘退保’,因为这是必须优先处理的事。”

把某条标注标记为标准答案集的功能,同样在付费版里。在社区版中,把锁定的答案记录在第三步的比较脚本里,让这个文件而不是界面成为唯一可信来源。

第五步:接入评测。 从最初几条样本开始,就写一个小脚本,把标注输出转换成评测套件读取的格式,不要拖到最后。最简单的做法是让每行 JSONL 只保留三个字段:任务 ID、文本和标准标签。

{"task_id": 17, "text": "我想退保,另外这个月我的保费为什么涨了?", "gold_label": "退保"}
{"task_id": 18, "text": "请问我下一次缴保费是什么时候?", "gold_label": "保费咨询"}

运行评测时,脚本只需让模型读取 text,把模型的回答和 gold_label 比较,并保留 task_id,以便在 Label Studio 里回溯到对应的邮件。保留 task_id,就能当着专家的面重新打开模型答错的那一条。

哪些限制要提前告诉客户?

最大的限制是版本。根据 Label Studio 的版本对比页,重叠标注、分配评审人和标记标准答案都属于付费版;衡量标注者间一致性的指南也写明需要付费产品。

两个项目加脚本的变通办法依然可行,但在承诺工作流之前,要先跟客户讲清楚。

其次,每个任务只能把一条标注设为标准答案。如果一封邮件有两种同样说得通的理解,你只能选其一,所以要事先决定按完全匹配打分,还是按评分细则(rubric)打分。

一致性高也只是信号,不是证明。接受过同样培训的两个人,可能以同样的方式犯错,所以不要把一致性数字当作准确率来汇报。

最后一个陷阱是预标注。让模型先提出标签再由人审核,能节省制作训练数据的时间。但对于要给同一个模型打分的黄金数据集,审核者很容易被模型的建议带偏,所以至少在评测集上,要让专家从零开始标注。

先学什么,简历上写什么

首先要学的不是配置语法,而是如何写标注规范:每个标签的定义、处于边界的示例,以及疑难情况的处理规则。工具只负责记录专家的判断,塑造判断的是规范。

然后把完整流程练一遍:启动实例、修改模板、两人标注、评审分歧、把结果接入评测脚本。清楚知道社区版能做到哪一步,本身也是一项技能,因为它决定了你能向客户承诺什么。

写简历或面试 FDE 岗位时,像“与客户的两位专家搭建标注工作流,200 条样本,经两轮规范修订后一致性提升”这样的一句话,能说明你会把领域知识转化为可衡量的数据。在职位描述中,可以留意“golden dataset”“human evaluation”或“annotation workflow”这类说法。

在一个项目的生命周期里,模型会被换掉好几次。由客户自己的专家签字确认的黄金数据集,在每一次更换中都依然有用。

这篇文章对你有帮助吗?

9 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力OAuth 一下午就能接通,难的是让连接器一直活着Nango 称其提供方配置的提交中 16% 是 bug 修复,何时该用共享集成层而不自己写?