算不清每次回答成本的问答应用,还只是演示
这个作品集项目把每次请求的追踪和 token 数写入 SQLite,再在仪表盘上汇总成成本。
要点速览
- 全栈问答应用分为四层。追踪和 token 数应在业务逻辑层记录,再写入存储层。
- token 直接对应成本,因此每次请求都需要一条带 trace_id 和查询类型的 token 记录。
- OpenTelemetry 面向 Agent 的 GenAI 约定仍处于 Development 状态,搭建仪表盘之前应先锁定规范版本。
一款内部文档问答应用的演示刚刚顺利结束,回答都对。随后,客户的运营负责人问了两个问题:这个回答依据的是文档里哪一段?如果全公司都用,每月要花多少钱?
如果答不上来,你做出的东西就还只是演示。下面这个项目补上了缺失的一环:每次请求都会留下一条追踪和一个 token 数,再由仪表盘把这些数字汇总成成本。
对于想应聘前线部署工程师(FDE)岗位的人,作品集里就该有这类练习。光让应用跑起来不够,还得说明它是怎么跑的。
要做什么,需要什么
AWS 把全栈开发定义为同时构建应用的前端和后端。按 AWS 的描述,这个问答应用的四层一应俱全。界面层是用户输入问题的地方。API 层接收前端的交互,并向下传给存储层。业务逻辑层是后端的核心。存储层负责管理和保存应用数据。
你需要 Python、SQLite(随 Python 标准库提供)、一个熟悉的 Web 框架,以及任意一个 LLM 的访问权限。下面的代码是用来展示结构的简化版本。retrieve 和 call_llm 这两个函数是接入你自己的检索逻辑和 LLM SDK 的地方。
第 1 步:先设计存储,再写提示词
大多数人做第一个项目时只存回答。这里的存储层从一开始就需要两张表:一张记录请求的每一步,一张记录 token。
CREATE TABLE traces (
trace_id TEXT, step TEXT, detail TEXT, created_at TEXT
);
CREATE TABLE usage (
trace_id TEXT, query_type TEXT,
input_tokens INTEGER, output_tokens INTEGER, created_at TEXT
);
检查: 在 sqlite3 中运行 .schema,确认两张表都已创建。不要删掉 query_type 列:第 4 步的仪表盘要靠它按查询类型拆分成本。
那么,query_type 的值从哪里来?练习中最简单的做法是让用户在界面上自己选,比如一个包含“政策查询”和“合同比对”的下拉框。这样做起来容易,但只有用户选对了,数字才准确。
第二种做法是在业务逻辑层用分类器自动打标签:几条关键词规则,或者一次简短的 LLM 调用。如果用 LLM 分类,这次调用也要记入追踪和 usage 表,因为它同样消耗 token。建议先用下拉框,把真实问题保存下来,以后再用同一批数据测试分类器。
第 2 步:追踪必须记下中间步骤
回答正确,不等于经过的步骤正确。如果只存最终结果,就无法知道模型依据的是哪一段。IBM 把追踪与指标、日志一起列为 LLM 应用需要收集的数据;在问答应用中,追踪的价值正在于这些中间步骤。
JetBrains 举过 ReAct 循环的例子:把每一个“思考”都记录成文本,就得到了一条完整的推理追踪。这样,即使最终回答看起来没问题,也可以评估这些中间步骤。
在问答应用中,“步骤”就是收到的问题、检索到的段落和回答。追踪和 token 都在业务逻辑层记录:
# 简化版本:retrieve 和 call_llm 是你自己的函数
import sqlite3, uuid
from datetime import datetime, timezone
db = sqlite3.connect("qa.db")
def now():
return datetime.now(timezone.utc).isoformat()
def write_trace(trace_id, step, detail):
db.execute("INSERT INTO traces VALUES (?,?,?,?)",
(trace_id, step, detail, now()))
def handle_question(question, query_type):
trace_id = str(uuid.uuid4())
write_trace(trace_id, "receive_question", question)
passages = retrieve(question)
write_trace(trace_id, "retrieve", " | ".join(passages))
result = call_llm(question, passages) # 返回文本和 token 数
write_trace(trace_id, "answer", result["text"])
db.execute("INSERT INTO usage VALUES (?,?,?,?,?)",
(trace_id, query_type, result["input_tokens"],
result["output_tokens"], now()))
db.commit()
return {"trace_id": trace_id, "answer": result["text"]}
API 端点只需调用 handle_question,把 JSON 返回给界面。记得同时返回 trace_id。用户反馈回答有误时,你可以立刻找到对应的追踪,不必靠猜。
检查: 发送一个问题,然后运行 SELECT step FROM traces WHERE trace_id = '...'。正确结果是三行,顺序依次为接收问题、检索、回答。
第 3 步:钱按 token 算
只有统计了 token,才能回答“每月要花多少钱”。IBM 建议跟踪处理的 token 数,尤其是 token 与模型成本挂钩的时候。
据 OpenObserve 博客上一篇介绍 OpenTelemetry GenAI 约定的指南,在请求一侧,提示词的 token 数是成本的主要来源。在 OpenTelemetry 中,这个数字对应 span 属性 gen_ai.usage.input_tokens。
因此,从 SQLite 迁移到 OpenTelemetry 时,input_tokens 列就映射到这个属性。要算出价格,用 token 数乘以模型服务商价目表上的单价。单价放在配置文件里,不要硬编码。
第 4 步:仪表盘要回答三个问题
只有一个总成本数字,你无从知道该改哪里。小浪费日积月累就是大开销,所以 JetBrains 建议持续跟踪 token,并按请求、按查询类型、按时间拆分成本。这三个维度就是三条查询:
-- 按查询类型
SELECT query_type, COUNT(*) AS request_count,
AVG(input_tokens) AS avg_input, SUM(input_tokens) AS total_input
FROM usage GROUP BY query_type;
-- 按天
SELECT substr(created_at, 1, 10) AS day,
SUM(input_tokens), SUM(output_tokens)
FROM usage GROUP BY day ORDER BY day;
-- 成本最高的 10 个请求,附 trace_id 以便打开追踪
SELECT trace_id, query_type, input_tokens
FROM usage ORDER BY input_tokens DESC LIMIT 10;
用一个假设的例子说明按类型拆分为什么重要。政策查询类问题平均使用 2,000 个输入 token。比对两份合同的问题要拉取更多段落,用到 6,000 个。如果每天有 1,000 个比对问题,单是每个问题 4,000 token 的差额,一天就是 4,000,000 个 token。
第三条查询用来找原因。打开成本最高的那个请求的追踪,就能看出是检索步骤拉了太多段落,还是提示词出现了重复。要降成本,就去改这一步。
仪表盘界面可以只是一个页面,运行这三条查询并渲染成表格。作为练习,这就够了。
让仪表盘失真的几个错误
第一个错误是只记录最终回答。这样仪表盘有成本数字,却解释不了成本为什么高,因为追踪里缺了检索这一步。
第二个错误是从网上照抄 OpenTelemetry 属性名,却不锁定版本。据 OpenObserve 介绍,面向 Agent 和工具编排的约定仍处于 Development 状态。OpenTelemetry 官方的 GenAI 指标规范页面也已迁到独立的 semantic-conventions-genai 仓库,所以要在 README 中写明所用的规范版本,并到新仓库查询当前的名称。
第三个错误是把评测和可观测性混为一谈。JetBrains 是这样划界的:评测判断 Agent 能不能完成工作,可观测性判断它是否正在完成工作。成本仪表盘不能替代质量测试集,两者都需要。
这项技能在客户现场是什么样
在客户那里,第一件事是问清楚他们想按哪个维度拆分成本:部门、文档类型还是用户。答案决定了 usage 表里有哪些列,这要在写下第一行提示词之前确定。
读到职位描述里提到运维或监控 LLM 应用时,就把这个项目放在最前面。简历上不要写“做了一个 RAG 聊天机器人”,而要写:构建了一个全栈问答应用,每次请求都有三步追踪,并有按查询类型统计的成本仪表盘,附上仓库链接。
一个具备这四层和两张数据表的个人项目,能说明你明白:客户买的不只是回答,他们还需要知道回答从哪里来、成本是多少。
这篇文章对你有帮助吗?
感谢你的反馈!