FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

算不清每次回答成本的问答应用,还只是演示

这个作品集项目把每次请求的追踪和 token 数写入 SQLite,再在仪表盘上汇总成成本。

分享微博

要点速览

  • 全栈问答应用分为四层。追踪和 token 数应在业务逻辑层记录,再写入存储层。
  • token 直接对应成本,因此每次请求都需要一条带 trace_id 和查询类型的 token 记录。
  • OpenTelemetry 面向 Agent 的 GenAI 约定仍处于 Development 状态,搭建仪表盘之前应先锁定规范版本。
大数字图表:仅差额一项,每天就有 4,000,000 个输入 token。下方是两根横条:政策查询类问题平均使用 2,000 个输入 token,合同比对类问题使用 6,000 个,其间 4,000 的差额以橙色标出。每天 1,000 个比对问题,这一差额就变成 4,000,000 个 token。
总成本数字掩盖了推高开销的问题类型,只有按 query_type 拆分才能看出这一差距。来源:文中的假设示例。

一款内部文档问答应用的演示刚刚顺利结束,回答都对。随后,客户的运营负责人问了两个问题:这个回答依据的是文档里哪一段?如果全公司都用,每月要花多少钱?

如果答不上来,你做出的东西就还只是演示。下面这个项目补上了缺失的一环:每次请求都会留下一条追踪和一个 token 数,再由仪表盘把这些数字汇总成成本。

对于想应聘前线部署工程师(FDE)岗位的人,作品集里就该有这类练习。光让应用跑起来不够,还得说明它是怎么跑的。

要做什么,需要什么

AWS 把全栈开发定义为同时构建应用的前端和后端。按 AWS 的描述,这个问答应用的四层一应俱全。界面层是用户输入问题的地方。API 层接收前端的交互,并向下传给存储层。业务逻辑层是后端的核心。存储层负责管理和保存应用数据。

你需要 Python、SQLite(随 Python 标准库提供)、一个熟悉的 Web 框架,以及任意一个 LLM 的访问权限。下面的代码是用来展示结构的简化版本。retrieve 和 call_llm 这两个函数是接入你自己的检索逻辑和 LLM SDK 的地方。

第 1 步:先设计存储,再写提示词

大多数人做第一个项目时只存回答。这里的存储层从一开始就需要两张表:一张记录请求的每一步,一张记录 token。

CREATE TABLE traces (
  trace_id TEXT, step TEXT, detail TEXT, created_at TEXT
);
CREATE TABLE usage (
  trace_id TEXT, query_type TEXT,
  input_tokens INTEGER, output_tokens INTEGER, created_at TEXT
);

检查: 在 sqlite3 中运行 .schema,确认两张表都已创建。不要删掉 query_type 列:第 4 步的仪表盘要靠它按查询类型拆分成本。

那么,query_type 的值从哪里来?练习中最简单的做法是让用户在界面上自己选,比如一个包含“政策查询”和“合同比对”的下拉框。这样做起来容易,但只有用户选对了,数字才准确。

第二种做法是在业务逻辑层用分类器自动打标签:几条关键词规则,或者一次简短的 LLM 调用。如果用 LLM 分类,这次调用也要记入追踪和 usage 表,因为它同样消耗 token。建议先用下拉框,把真实问题保存下来,以后再用同一批数据测试分类器。

第 2 步:追踪必须记下中间步骤

回答正确,不等于经过的步骤正确。如果只存最终结果,就无法知道模型依据的是哪一段。IBM 把追踪与指标、日志一起列为 LLM 应用需要收集的数据;在问答应用中,追踪的价值正在于这些中间步骤。

JetBrains 举过 ReAct 循环的例子:把每一个“思考”都记录成文本,就得到了一条完整的推理追踪。这样,即使最终回答看起来没问题,也可以评估这些中间步骤。

在问答应用中,“步骤”就是收到的问题、检索到的段落和回答。追踪和 token 都在业务逻辑层记录:

# 简化版本:retrieve 和 call_llm 是你自己的函数
import sqlite3, uuid
from datetime import datetime, timezone

db = sqlite3.connect("qa.db")

def now():
    return datetime.now(timezone.utc).isoformat()

def write_trace(trace_id, step, detail):
    db.execute("INSERT INTO traces VALUES (?,?,?,?)",
               (trace_id, step, detail, now()))

def handle_question(question, query_type):
    trace_id = str(uuid.uuid4())
    write_trace(trace_id, "receive_question", question)
    passages = retrieve(question)
    write_trace(trace_id, "retrieve", " | ".join(passages))
    result = call_llm(question, passages)  # 返回文本和 token 数
    write_trace(trace_id, "answer", result["text"])
    db.execute("INSERT INTO usage VALUES (?,?,?,?,?)",
               (trace_id, query_type, result["input_tokens"],
                result["output_tokens"], now()))
    db.commit()
    return {"trace_id": trace_id, "answer": result["text"]}

API 端点只需调用 handle_question,把 JSON 返回给界面。记得同时返回 trace_id。用户反馈回答有误时,你可以立刻找到对应的追踪,不必靠猜。

检查: 发送一个问题,然后运行 SELECT step FROM traces WHERE trace_id = '...'。正确结果是三行,顺序依次为接收问题、检索、回答。

第 3 步:钱按 token 算

只有统计了 token,才能回答“每月要花多少钱”。IBM 建议跟踪处理的 token 数,尤其是 token 与模型成本挂钩的时候。

据 OpenObserve 博客上一篇介绍 OpenTelemetry GenAI 约定的指南,在请求一侧,提示词的 token 数是成本的主要来源。在 OpenTelemetry 中,这个数字对应 span 属性 gen_ai.usage.input_tokens。

因此,从 SQLite 迁移到 OpenTelemetry 时,input_tokens 列就映射到这个属性。要算出价格,用 token 数乘以模型服务商价目表上的单价。单价放在配置文件里,不要硬编码。

第 4 步:仪表盘要回答三个问题

只有一个总成本数字,你无从知道该改哪里。小浪费日积月累就是大开销,所以 JetBrains 建议持续跟踪 token,并按请求、按查询类型、按时间拆分成本。这三个维度就是三条查询:

-- 按查询类型
SELECT query_type, COUNT(*) AS request_count,
       AVG(input_tokens) AS avg_input, SUM(input_tokens) AS total_input
FROM usage GROUP BY query_type;

-- 按天
SELECT substr(created_at, 1, 10) AS day,
       SUM(input_tokens), SUM(output_tokens)
FROM usage GROUP BY day ORDER BY day;

-- 成本最高的 10 个请求,附 trace_id 以便打开追踪
SELECT trace_id, query_type, input_tokens
FROM usage ORDER BY input_tokens DESC LIMIT 10;

用一个假设的例子说明按类型拆分为什么重要。政策查询类问题平均使用 2,000 个输入 token。比对两份合同的问题要拉取更多段落,用到 6,000 个。如果每天有 1,000 个比对问题,单是每个问题 4,000 token 的差额,一天就是 4,000,000 个 token。

第三条查询用来找原因。打开成本最高的那个请求的追踪,就能看出是检索步骤拉了太多段落,还是提示词出现了重复。要降成本,就去改这一步。

仪表盘界面可以只是一个页面,运行这三条查询并渲染成表格。作为练习,这就够了。

让仪表盘失真的几个错误

第一个错误是只记录最终回答。这样仪表盘有成本数字,却解释不了成本为什么高,因为追踪里缺了检索这一步。

第二个错误是从网上照抄 OpenTelemetry 属性名,却不锁定版本。据 OpenObserve 介绍,面向 Agent 和工具编排的约定仍处于 Development 状态。OpenTelemetry 官方的 GenAI 指标规范页面也已迁到独立的 semantic-conventions-genai 仓库,所以要在 README 中写明所用的规范版本,并到新仓库查询当前的名称。

第三个错误是把评测和可观测性混为一谈。JetBrains 是这样划界的:评测判断 Agent 能不能完成工作,可观测性判断它是否正在完成工作。成本仪表盘不能替代质量测试集,两者都需要。

这项技能在客户现场是什么样

在客户那里,第一件事是问清楚他们想按哪个维度拆分成本:部门、文档类型还是用户。答案决定了 usage 表里有哪些列,这要在写下第一行提示词之前确定。

读到职位描述里提到运维或监控 LLM 应用时,就把这个项目放在最前面。简历上不要写“做了一个 RAG 聊天机器人”,而要写:构建了一个全栈问答应用,每次请求都有三步追踪,并有按查询类型统计的成本仪表盘,附上仓库链接。

一个具备这四层和两张数据表的个人项目,能说明你明白:客户买的不只是回答,他们还需要知道回答从哪里来、成本是多少。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 5: 部署上线真正危险的提示注入,藏在 Agent 读取的数据里系统提示词再巧妙也护不住调用工具的 Agent,FDE 需要威胁模型,并在模型之外拦住越权退款和数据泄露。