客户要的是 AI 打标签,不是新的事件架构
在现有队列上加一个消费者就够了,前提是不重复扣费、不掩盖失败、不引发事件风暴。
要点速览
- 队列只保证每条消息至少投递一次,所以 AI 消费者从第一行代码起就必须是幂等的。
- 不要建议客户改用事件溯源或 CQRS,把 AI 接到他们已经在发布的事件上即可。
- 阻止事件风暴需要两边配合:下游服务把关联 ID 继续传下去,AI 消费者跳过同一关联 ID 下已打过标签的工单。
驻场第一周,你接到一个听起来很简单的需求:工单一创建,就用 LLM 自动给它打标签。客户的工程团队打开系统架构图:用户每提交一张工单,UI 就往队列里推一条消息,几个下游服务从队列取出消息处理。
很多工程师到这一步就开始重画整套架构:加一个事件存储,拆出读模型,把 CQRS 做“规范”。这通常是错的。客户请你来不是为了重建系统。他们需要的是在现有事件流上加一个新消费者,运行安全,不破坏已经正常工作的部分。
要做好这件事,得先分清三个常被混用的概念,再写一个能避开四个常见陷阱的消费者。
三个概念,三种投入程度
事件驱动是最简单的一层。根据 Microsoft 的 Azure 架构文档,当 UI 或另一个作业把消息放进队列时,就可以触发一个后台作业。消息携带的是刚刚发生的某个动作的数据,比如用户下了一个订单。上面的工单系统正是这一类。
事件溯源的要求高得多。Martin Fowler 将其定义为:把应用状态的每一次变更都记录为一个事件序列。Microsoft 说得更具体:完整的动作序列保存在只追加的存储中,由这个存储取代“当前状态表”,成为唯一可信数据源。
CQRS 把写(命令)和读(查询)拆成两个独立的数据模型,以便分别优化。两边使用不同存储时,常见做法是写模型每次更新数据库都发布一个事件,读模型据此刷新自己的数据。
还有一个误区需要澄清。Microsoft 指出,事件存储和消息代理不应混为一谈。Kafka 或类似的队列只是分发层,负责把事件投递给投影和外部消费者。客户说“我们已经有 Kafka 了”,并不代表他们在做事件溯源。
为什么不要提议重构架构
Microsoft 自己就提醒过,事件溯源成本高,而且很少真正需要。对大多数系统、以及系统中的大多数组件来说,传统的数据管理方式已经足够。
Fowler 对 CQRS 的看法也类似:它要求所有相关人员在思维上做出很大跨越,只有收益确实值得时才应采用。
Microsoft 在讨论事件溯源时提到一个优点:发布事件的代码与订阅事件的系统彼此解耦。即使没有事件溯源,这个道理对普通队列同样成立:UI 只管把消息放进队列,不需要知道有多少个作业在取消息。
这意味着你可以加一个 AI 消费者,而不改动发布事件的应用里的任何一行代码。对 前线部署工程师(FDE)来说,这是实打实的优势:范围小,对客户内部影响小,回滚只需关掉这个消费者。
示例:一个给工单打标签的消费者
假设每条消息都是一个 TicketCreated,包含 event_id、ticket_id、correlation_id 和工单内容。下面这个消费者是可以真正部署的版本,而不只是演示:
def handle(msg):
try:
event = parse_ticket_created(msg.body)
except SchemaError:
msg.dead_letter(reason="schema") # 格式错误的消息不要重试
return
if processed_events.exists(event.event_id):
msg.complete() # 重复消息:跳过
return
if labels.exists_for_correlation(event.ticket_id, event.correlation_id):
msg.complete() # 循环:同一业务流程中该工单已打过标签
return
label = classify_with_llm(event.text) # 重跑也安全,不会造成损害
with db.transaction():
labels.upsert(event.ticket_id, label,
source_event=event.event_id,
correlation_id=event.correlation_id)
processed_events.insert(event.event_id)
outbox.add("TicketLabeled",
ticket_id=event.ticket_id,
correlation_id=event.correlation_id,
produced_by="ai-labeler")
msg.complete()
从上往下读,每个代码块都对应一个具体的陷阱。最关键的是 db.transaction() 里的三个操作:保存标签、把事件标记为已处理、写入 Outbox 表。
这三步要么全部成功,要么全部失败。Microsoft 建议把事务性 Outbox 模式与幂等消费者结合使用,以保持写模型和读模型一致;同样的原则原样适用于这里的 AI 消费者。
注意 LLM 调用放在事务之外。如果进程在调用模型之后、提交之前崩溃,消息会被重新投递,模型会再调用一次。你多花一点 token,但不会有任何副作用被重复执行。这个代价可以接受。
四个陷阱,代码如何避开
第一个陷阱是重复投递。Microsoft 明确指出,队列只保证至少一次投递,也就是说同一条消息可能到达不止一次。
如果处理函数不是幂等的,投影会逐渐偏离事件流,付款、通知之类的副作用也可能被执行多次。对一个有权限给客户发邮件的 AI 消费者来说,这在第一周就可能变成一次事故。
第二个陷阱是毒消息。某张工单可能内容为空,或者用的是旧 schema,导致解析失败。Microsoft 指出,死信队列里的每条消息都是一项未完成的工作。如果没人盯着这个队列,失败会悄无声息地堆积,直到客户发现大量工单没有标签才察觉。
第三个陷阱是事件风暴。编排式(choreography)设计让每个服务自行决定何时、如何行动,通常借助消息代理以发布-订阅方式实现。Microsoft 警告,这种设计可能无意中形成反馈循环或事件风暴。
设想另一个服务监听 TicketLabeled 并更新工单,而这次更新又发布了一条 TicketCreated,AI 消费者便再跑一次。新事件由另一个服务发布,本身不会带 produced_by="ai-labeler";检查 event_id 也拦不住它,因为这是一个新事件。
解决办法是和客户团队约定:所有下游服务都把 correlation_id 传递到自己发布的事件里。
这样,代码中的 labels.exists_for_correlation 这一步才真正发挥作用:同一 correlation_id 下已打过标签的工单会被跳过,循环在第二轮就停下来。
如果客户那边不做这种传递,这项检查就没有可比对的依据。
第四个陷阱是过期数据。读写存储分离时,系统只能做到最终一致,读到的数据可能还没反映最新变更。
如果你的 Agent 从读模型读取客户历史来决定是否退款,它依据的可能是几秒前的数据。如果决策需要最新数据,就直接从事件 payload 中取信息,或者问客户团队读模型通常落后多久。
关联 ID:出了问题还能回答“发生了什么”
Microsoft 指出,没有中央编排器时,没有哪个组件能看到整个业务流程的完整进展。这就是需要关联 ID 和分布式追踪的原因。当客户投诉工单标签打错了,你需要从这个标签追溯到原始事件,再追溯到那次模型调用和所用的 prompt。
方法很简单。你发布的每个事件都必须携带触发它的那个事件的 correlation_id,消费者的每一行日志也都应记录这个 ID。如果客户还没有这样的 ID,就在 AI 上生产环境之前建议加上。改动很小,但在第一次排查事故时就能见到回报。
驻场时的工作顺序
先弄清客户处在三个层次中的哪一层。Microsoft 认为,当应用本来就把事件作为运行方式的自然组成部分时,事件溯源最为合适。
很多客户只有一个队列,这就够了。接着,要一批真实消息样本,读懂 schema,并问清他们是否改过它。
然后以影子模式运行消费者:照常打标签,但只写入一张单独的表,不发布任何事件。等死信队列中的消息数量稳定、标签质量达标后,再开启 Outbox。这样可以把两件事分开看:模型的质量和系统的安全。
如果你正准备转岗做 FDE,就把这些细节原样写进简历。“把 LLM 集成进 Kafka 数据管道”几乎什么都没说明。
“编写了基于 Outbox 的幂等消费者,配有死信告警和关联 ID,在发布事件前以影子模式运行两周”,则能让招聘经理看出你清楚在别人系统上动手的风险。
当岗位描述要求对接现有系统或有消息队列经验时,准备好在面试中完整讲清一个这样的例子,包括你如何处理重复投递。
演示时让人眼前一亮的是模型标签打得准。决定客户是否继续信任你的,是同一条消息第二次到达时,消费者依然安全。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Best Practices for Background Jobs - Azure Architecture Center | Microsoft Learn · 2026-03-30
- Event Sourcing Pattern - Azure Architecture Center | Microsoft Learn · 2026-03-27
- CQRS Pattern - Azure Architecture Center | Microsoft Learn · 2025-02-20
- Choreography Pattern - Azure Architecture Center | Microsoft Learn · 2026-06-02
- Event Sourcing (Martin Fowler) · 2005-12-12
- CQRS (Martin Fowler) · 2011-07-14