# 算不清每次回答成本的问答应用，还只是演示

> 这个作品集项目把每次请求的追踪和 token 数写入 SQLite，再在仪表盘上汇总成成本。

原文: https://fdetimes.net/zh/guides/qa-app-tracing-token-cost-dashboard/

一款内部文档问答应用的演示刚刚顺利结束，回答都对。随后，客户的运营负责人问了两个问题：这个回答依据的是文档里哪一段？如果全公司都用，每月要花多少钱？

如果答不上来，你做出的东西就还只是演示。下面这个项目补上了缺失的一环：每次请求都会留下一条追踪和一个 token 数，再由仪表盘把这些数字汇总成成本。

对于想应聘前线部署工程师（FDE）岗位的人，作品集里就该有这类练习。光让应用跑起来不够，还得说明它是怎么跑的。

## 要做什么，需要什么

AWS 把全栈开发定义为同时构建应用的前端和后端。按 AWS 的描述，这个问答应用的四层一应俱全。界面层是用户输入问题的地方。API 层接收前端的交互，并向下传给存储层。业务逻辑层是后端的核心。存储层负责管理和保存应用数据。

你需要 Python、SQLite（随 Python 标准库提供）、一个熟悉的 Web 框架，以及任意一个 LLM 的访问权限。下面的代码是用来展示结构的**简化版本**。`retrieve` 和 `call_llm` 这两个函数是接入你自己的检索逻辑和 LLM SDK 的地方。

## 第 1 步：先设计存储，再写提示词

大多数人做第一个项目时只存回答。这里的存储层从一开始就需要两张表：一张记录请求的每一步，一张记录 token。

```sql
CREATE TABLE traces (
  trace_id TEXT, step TEXT, detail TEXT, created_at TEXT
);
CREATE TABLE usage (
  trace_id TEXT, query_type TEXT,
  input_tokens INTEGER, output_tokens INTEGER, created_at TEXT
);
```

**检查：** 在 sqlite3 中运行 `.schema`，确认两张表都已创建。不要删掉 `query_type` 列：第 4 步的仪表盘要靠它按查询类型拆分成本。

那么，`query_type` 的值从哪里来？练习中最简单的做法是让用户在界面上自己选，比如一个包含“政策查询”和“合同比对”的下拉框。这样做起来容易，但只有用户选对了，数字才准确。

第二种做法是在业务逻辑层用分类器自动打标签：几条关键词规则，或者一次简短的 LLM 调用。如果用 LLM 分类，这次调用也要记入追踪和 usage 表，因为它同样消耗 token。建议先用下拉框，把真实问题保存下来，以后再用同一批数据测试分类器。

## 第 2 步：追踪必须记下中间步骤

回答正确，不等于经过的步骤正确。如果只存最终结果，就无法知道模型依据的是哪一段。IBM 把追踪与指标、日志一起列为 LLM 应用需要收集的数据；在问答应用中，追踪的价值正在于这些中间步骤。

JetBrains 举过 ReAct 循环的例子：把每一个“思考”都记录成文本，就得到了一条完整的推理追踪。这样，即使最终回答看起来没问题，也可以评估这些中间步骤。

在问答应用中，“步骤”就是收到的问题、检索到的段落和回答。追踪和 token 都在业务逻辑层记录：

```python
# 简化版本：retrieve 和 call_llm 是你自己的函数
import sqlite3, uuid
from datetime import datetime, timezone

db = sqlite3.connect("qa.db")

def now():
    return datetime.now(timezone.utc).isoformat()

def write_trace(trace_id, step, detail):
    db.execute("INSERT INTO traces VALUES (?,?,?,?)",
               (trace_id, step, detail, now()))

def handle_question(question, query_type):
    trace_id = str(uuid.uuid4())
    write_trace(trace_id, "receive_question", question)
    passages = retrieve(question)
    write_trace(trace_id, "retrieve", " | ".join(passages))
    result = call_llm(question, passages)  # 返回文本和 token 数
    write_trace(trace_id, "answer", result["text"])
    db.execute("INSERT INTO usage VALUES (?,?,?,?,?)",
               (trace_id, query_type, result["input_tokens"],
                result["output_tokens"], now()))
    db.commit()
    return {"trace_id": trace_id, "answer": result["text"]}
```

API 端点只需调用 `handle_question`，把 JSON 返回给界面。记得同时返回 `trace_id`。用户反馈回答有误时，你可以立刻找到对应的追踪，不必靠猜。

**检查：** 发送一个问题，然后运行 `SELECT step FROM traces WHERE trace_id = '...'`。正确结果是三行，顺序依次为接收问题、检索、回答。

## 第 3 步：钱按 token 算

只有统计了 token，才能回答“每月要花多少钱”。IBM 建议跟踪处理的 token 数，尤其是 token 与模型成本挂钩的时候。

据 OpenObserve 博客上一篇介绍 OpenTelemetry GenAI 约定的指南，在请求一侧，提示词的 token 数是成本的主要来源。在 OpenTelemetry 中，这个数字对应 span 属性 `gen_ai.usage.input_tokens`。

因此，从 SQLite 迁移到 OpenTelemetry 时，`input_tokens` 列就映射到这个属性。要算出价格，用 token 数乘以模型服务商价目表上的单价。单价放在配置文件里，不要硬编码。

## 第 4 步：仪表盘要回答三个问题

只有一个总成本数字，你无从知道该改哪里。小浪费日积月累就是大开销，所以 JetBrains 建议持续跟踪 token，并按请求、按查询类型、按时间拆分成本。这三个维度就是三条查询：

```sql
-- 按查询类型
SELECT query_type, COUNT(*) AS request_count,
       AVG(input_tokens) AS avg_input, SUM(input_tokens) AS total_input
FROM usage GROUP BY query_type;

-- 按天
SELECT substr(created_at, 1, 10) AS day,
       SUM(input_tokens), SUM(output_tokens)
FROM usage GROUP BY day ORDER BY day;

-- 成本最高的 10 个请求，附 trace_id 以便打开追踪
SELECT trace_id, query_type, input_tokens
FROM usage ORDER BY input_tokens DESC LIMIT 10;
```

用一个假设的例子说明按类型拆分为什么重要。政策查询类问题平均使用 2,000 个输入 token。比对两份合同的问题要拉取更多段落，用到 6,000 个。如果每天有 1,000 个比对问题，单是每个问题 4,000 token 的差额，一天就是 4,000,000 个 token。

第三条查询用来找原因。打开成本最高的那个请求的追踪，就能看出是检索步骤拉了太多段落，还是提示词出现了重复。要降成本，就去改这一步。

仪表盘界面可以只是一个页面，运行这三条查询并渲染成表格。作为练习，这就够了。

## 让仪表盘失真的几个错误

第一个错误是只记录最终回答。这样仪表盘有成本数字，却解释不了成本为什么高，因为追踪里缺了检索这一步。

第二个错误是从网上照抄 OpenTelemetry 属性名，却不锁定版本。据 OpenObserve 介绍，面向 Agent 和工具编排的约定仍处于 Development 状态。OpenTelemetry 官方的 GenAI 指标规范页面也已迁到独立的 semantic-conventions-genai 仓库，所以要在 README 中写明所用的规范版本，并到新仓库查询当前的名称。

第三个错误是把评测和可观测性混为一谈。JetBrains 是这样划界的：评测判断 Agent *能不能*完成工作，可观测性判断它*是否正在*完成工作。成本仪表盘不能替代质量测试集，两者都需要。

## 这项技能在客户现场是什么样

在客户那里，第一件事是问清楚他们想按哪个维度拆分成本：部门、文档类型还是用户。答案决定了 `usage` 表里有哪些列，这要在写下第一行提示词之前确定。

读到职位描述里提到运维或监控 LLM 应用时，就把这个项目放在最前面。简历上不要写“做了一个 RAG 聊天机器人”，而要写：构建了一个全栈问答应用，每次请求都有三步追踪，并有按查询类型统计的成本仪表盘，附上仓库链接。

**要点:** 回答正确，足以撑过一次演示。要真正投入使用，系统还得说明回答依据了什么、花了多少钱。

一个具备这四层和两张数据表的个人项目，能说明你明白：客户买的不只是回答，他们还需要知道回答从哪里来、成本是多少。

**本周动手试试:**

- 在 SQLite 中创建一张 usage 表，包含 trace_id、query_type、input_tokens、output_tokens 和 created_at 这几列，应用每收到一个问题就写入一行。
- 运行 30 个分属三种类型的问题，再写一条 GROUP BY query_type 查询，找出哪种类型消耗的输入 token 最多。
- 在项目 README 中加入一条完整追踪的截图，以及按查询类型统计的成本表截图。这就是可以在简历里链接的证据。

## 信源

- [What is Full Stack Development?](https://aws.amazon.com/what-is/full-stack-development/)

- [What is LLM observability?](https://www.ibm.com/think/topics/llm-observability)

- [LLM Evaluation and AI Observability for Agent Monitoring](https://blog.jetbrains.com/pycharm/2026/05/llm-evaluation-and-ai-observability-for-agent-monitoring/)

- [OpenTelemetry GenAI Semantic Conventions: A Practical Guide](https://openobserve.ai/blog/opentelemetry-genai-semantic-conventions/)

- [Semantic conventions for generative AI metrics](https://opentelemetry.io/docs/specs/semconv/gen-ai/gen-ai-metrics/)
