# 客户要的是 AI 打标签，不是新的事件架构

> 在现有队列上加一个消费者就够了，前提是不重复扣费、不掩盖失败、不引发事件风暴。

原文: https://fdetimes.net/zh/guides/add-ai-consumer-to-existing-event-queue/

驻场第一周，你接到一个听起来很简单的需求：工单一创建，就用 LLM 自动给它打标签。客户的工程团队打开系统架构图：用户每提交一张工单，UI 就往队列里推一条消息，几个下游服务从队列取出消息处理。

很多工程师到这一步就开始重画整套架构：加一个事件存储，拆出读模型，把 CQRS 做“规范”。这通常是错的。客户请你来不是为了重建系统。他们需要的是在现有事件流上加一个新消费者，运行安全，不破坏已经正常工作的部分。

要做好这件事，得先分清三个常被混用的概念，再写一个能避开四个常见陷阱的消费者。

## 三个概念，三种投入程度

事件驱动是最简单的一层。根据 Microsoft 的 Azure 架构文档，当 UI 或另一个作业把消息放进队列时，就可以触发一个后台作业。消息携带的是刚刚发生的某个动作的数据，比如用户下了一个订单。上面的工单系统正是这一类。

事件溯源的要求高得多。Martin Fowler 将其定义为：把应用状态的每一次变更都记录为一个事件序列。Microsoft 说得更具体：完整的动作序列保存在只追加的存储中，由这个存储取代“当前状态表”，成为唯一可信数据源。

CQRS 把写（命令）和读（查询）拆成两个独立的数据模型，以便分别优化。两边使用不同存储时，常见做法是写模型每次更新数据库都发布一个事件，读模型据此刷新自己的数据。

还有一个误区需要澄清。Microsoft 指出，事件存储和消息代理不应混为一谈。Kafka 或类似的队列只是分发层，负责把事件投递给投影和外部消费者。客户说“我们已经有 Kafka 了”，并不代表他们在做事件溯源。

## 为什么不要提议重构架构

Microsoft 自己就提醒过，事件溯源成本高，而且很少真正需要。对大多数系统、以及系统中的大多数组件来说，传统的数据管理方式已经足够。

Fowler 对 CQRS 的看法也类似：它要求所有相关人员在思维上做出很大跨越，只有收益确实值得时才应采用。

Microsoft 在讨论事件溯源时提到一个优点：发布事件的代码与订阅事件的系统彼此解耦。即使没有事件溯源，这个道理对普通队列同样成立：UI 只管把消息放进队列，不需要知道有多少个作业在取消息。

这意味着你可以加一个 AI 消费者，而不改动发布事件的应用里的任何一行代码。对 前线部署工程师（FDE）来说，这是实打实的优势：范围小，对客户内部影响小，回滚只需关掉这个消费者。

**要点:** 把 AI 接到客户已有的事件流上，不要让客户重建它。

## 示例：一个给工单打标签的消费者

假设每条消息都是一个 `TicketCreated`，包含 `event_id`、`ticket_id`、`correlation_id` 和工单内容。下面这个消费者是可以真正部署的版本，而不只是演示：

```python
def handle(msg):
    try:
        event = parse_ticket_created(msg.body)
    except SchemaError:
        msg.dead_letter(reason="schema")   # 格式错误的消息不要重试
        return

    if processed_events.exists(event.event_id):
        msg.complete()                     # 重复消息：跳过
        return

    if labels.exists_for_correlation(event.ticket_id, event.correlation_id):
        msg.complete()                     # 循环：同一业务流程中该工单已打过标签
        return

    label = classify_with_llm(event.text)  # 重跑也安全，不会造成损害

    with db.transaction():
        labels.upsert(event.ticket_id, label,
                      source_event=event.event_id,
                      correlation_id=event.correlation_id)
        processed_events.insert(event.event_id)
        outbox.add("TicketLabeled",
                   ticket_id=event.ticket_id,
                   correlation_id=event.correlation_id,
                   produced_by="ai-labeler")
    msg.complete()
```

从上往下读，每个代码块都对应一个具体的陷阱。最关键的是 `db.transaction()` 里的三个操作：保存标签、把事件标记为已处理、写入 Outbox 表。

这三步要么全部成功，要么全部失败。Microsoft 建议把事务性 Outbox 模式与幂等消费者结合使用，以保持写模型和读模型一致；同样的原则原样适用于这里的 AI 消费者。

注意 LLM 调用放在事务之外。如果进程在调用模型之后、提交之前崩溃，消息会被重新投递，模型会再调用一次。你多花一点 token，但不会有任何副作用被重复执行。这个代价可以接受。

## 四个陷阱，代码如何避开

第一个陷阱是重复投递。Microsoft 明确指出，队列只保证至少一次投递，也就是说同一条消息可能到达不止一次。

如果处理函数不是幂等的，投影会逐渐偏离事件流，付款、通知之类的副作用也可能被执行多次。对一个有权限给客户发邮件的 AI 消费者来说，这在第一周就可能变成一次事故。

第二个陷阱是毒消息。某张工单可能内容为空，或者用的是旧 schema，导致解析失败。Microsoft 指出，死信队列里的每条消息都是一项未完成的工作。如果没人盯着这个队列，失败会悄无声息地堆积，直到客户发现大量工单没有标签才察觉。

第三个陷阱是事件风暴。编排式（choreography）设计让每个服务自行决定何时、如何行动，通常借助消息代理以发布-订阅方式实现。Microsoft 警告，这种设计可能无意中形成反馈循环或事件风暴。

设想另一个服务监听 `TicketLabeled` 并更新工单，而这次更新又发布了一条 `TicketCreated`，AI 消费者便再跑一次。新事件由另一个服务发布，本身不会带 `produced_by="ai-labeler"`；检查 `event_id` 也拦不住它，因为这是一个新事件。

解决办法是和客户团队约定：所有下游服务都把 `correlation_id` 传递到自己发布的事件里。

这样，代码中的 `labels.exists_for_correlation` 这一步才真正发挥作用：同一 `correlation_id` 下已打过标签的工单会被跳过，循环在第二轮就停下来。

如果客户那边不做这种传递，这项检查就没有可比对的依据。

第四个陷阱是过期数据。读写存储分离时，系统只能做到最终一致，读到的数据可能还没反映最新变更。

如果你的 Agent 从读模型读取客户历史来决定是否退款，它依据的可能是几秒前的数据。如果决策需要最新数据，就直接从事件 payload 中取信息，或者问客户团队读模型通常落后多久。

## 关联 ID：出了问题还能回答“发生了什么”

Microsoft 指出，没有中央编排器时，没有哪个组件能看到整个业务流程的完整进展。这就是需要关联 ID 和分布式追踪的原因。当客户投诉工单标签打错了，你需要从这个标签追溯到原始事件，再追溯到那次模型调用和所用的 prompt。

方法很简单。你发布的每个事件都必须携带触发它的那个事件的 `correlation_id`，消费者的每一行日志也都应记录这个 ID。如果客户还没有这样的 ID，就在 AI 上生产环境之前建议加上。改动很小，但在第一次排查事故时就能见到回报。

## 驻场时的工作顺序

先弄清客户处在三个层次中的哪一层。Microsoft 认为，当应用本来就把事件作为运行方式的自然组成部分时，事件溯源最为合适。

很多客户只有一个队列，这就够了。接着，要一批真实消息样本，读懂 schema，并问清他们是否改过它。

然后以影子模式运行消费者：照常打标签，但只写入一张单独的表，不发布任何事件。等死信队列中的消息数量稳定、标签质量达标后，再开启 Outbox。这样可以把两件事分开看：模型的质量和系统的安全。

如果你正准备转岗做 FDE，就把这些细节原样写进简历。“把 LLM 集成进 Kafka 数据管道”几乎什么都没说明。

“编写了基于 Outbox 的幂等消费者，配有死信告警和关联 ID，在发布事件前以影子模式运行两周”，则能让招聘经理看出你清楚在别人系统上动手的风险。

当岗位描述要求对接现有系统或有消息队列经验时，准备好在面试中完整讲清一个这样的例子，包括你如何处理重复投递。

演示时让人眼前一亮的是模型标签打得准。决定客户是否继续信任你的，是同一条消息第二次到达时，消费者依然安全。

**本周动手试试:**

- 找一个你有权限的队列，把同一条消息发两次，看消费者是否产出两份结果。
- 按本文的模式改写一个消费者：检查 event_id 是否已处理，跳过同一 correlation_id 下已打过标签的工单，并把结果和 Outbox 写在同一个事务里。
- 打开你负责的某个系统的死信队列，数一数里面积压了多少条消息。如果这个数字还没有告警，就加上一个。

## 信源

- [Best Practices for Background Jobs - Azure Architecture Center | Microsoft Learn](https://learn.microsoft.com/en-us/azure/architecture/best-practices/background-jobs)

- [Event Sourcing Pattern - Azure Architecture Center | Microsoft Learn](https://learn.microsoft.com/en-us/azure/architecture/patterns/event-sourcing)

- [CQRS Pattern - Azure Architecture Center | Microsoft Learn](https://learn.microsoft.com/en-us/azure/architecture/patterns/cqrs)

- [Choreography Pattern - Azure Architecture Center | Microsoft Learn](https://learn.microsoft.com/en-us/azure/architecture/patterns/choreography)

- [Event Sourcing (Martin Fowler)](https://martinfowler.com/eaaDev/EventSourcing.html)

- [CQRS (Martin Fowler)](https://martinfowler.com/bliki/CQRS.html)
