FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户要的是 AI 打标签,不是新的事件架构

在现有队列上加一个消费者就够了,前提是不重复扣费、不掩盖失败、不引发事件风暴。

分享微博

要点速览

  • 队列只保证每条消息至少投递一次,所以 AI 消费者从第一行代码起就必须是幂等的。
  • 不要建议客户改用事件溯源或 CQRS,把 AI 接到他们已经在发布的事件上即可。
  • 阻止事件风暴需要两边配合:下游服务把关联 ID 继续传下去,AI 消费者跳过同一关联 ID 下已打过标签的工单。
三栏示意图。左栏是客户的现有系统:应用(代码不改动)把消息推入一个只保证至少一次投递的队列,旁注:先以影子模式运行,再开启 Outbox;回滚只需关掉消费者。中栏是新的 AI 消费者,步骤依次为:读取 TicketCreated schema,检查 event_id 是否已处理,检查工单是否已有同一 correlation_id 下的标签,在事务之外调用 LLM 打标签,最后是一个橙色的 db.transaction 块,保存标签、标记 event_id 并写入 Outbox,三者同成同败。右栏是每一步拦下的陷阱:坏消息进入死信队列,重复消息被跳过,事件风暴在第二轮被阻断,过期数据改从 payload 中获取。Outbox 发出携带 correlation_id 的 TicketLabeled 事件。
运行在客户现有队列上的 AI 消费者。每项检查拦下一个陷阱,三次写入与 Outbox 共用同一个事务。

驻场第一周,你接到一个听起来很简单的需求:工单一创建,就用 LLM 自动给它打标签。客户的工程团队打开系统架构图:用户每提交一张工单,UI 就往队列里推一条消息,几个下游服务从队列取出消息处理。

很多工程师到这一步就开始重画整套架构:加一个事件存储,拆出读模型,把 CQRS 做“规范”。这通常是错的。客户请你来不是为了重建系统。他们需要的是在现有事件流上加一个新消费者,运行安全,不破坏已经正常工作的部分。

要做好这件事,得先分清三个常被混用的概念,再写一个能避开四个常见陷阱的消费者。

三个概念,三种投入程度

事件驱动是最简单的一层。根据 Microsoft 的 Azure 架构文档,当 UI 或另一个作业把消息放进队列时,就可以触发一个后台作业。消息携带的是刚刚发生的某个动作的数据,比如用户下了一个订单。上面的工单系统正是这一类。

事件溯源的要求高得多。Martin Fowler 将其定义为:把应用状态的每一次变更都记录为一个事件序列。Microsoft 说得更具体:完整的动作序列保存在只追加的存储中,由这个存储取代“当前状态表”,成为唯一可信数据源。

CQRS 把写(命令)和读(查询)拆成两个独立的数据模型,以便分别优化。两边使用不同存储时,常见做法是写模型每次更新数据库都发布一个事件,读模型据此刷新自己的数据。

还有一个误区需要澄清。Microsoft 指出,事件存储和消息代理不应混为一谈。Kafka 或类似的队列只是分发层,负责把事件投递给投影和外部消费者。客户说“我们已经有 Kafka 了”,并不代表他们在做事件溯源。

为什么不要提议重构架构

Microsoft 自己就提醒过,事件溯源成本高,而且很少真正需要。对大多数系统、以及系统中的大多数组件来说,传统的数据管理方式已经足够。

Fowler 对 CQRS 的看法也类似:它要求所有相关人员在思维上做出很大跨越,只有收益确实值得时才应采用。

Microsoft 在讨论事件溯源时提到一个优点:发布事件的代码与订阅事件的系统彼此解耦。即使没有事件溯源,这个道理对普通队列同样成立:UI 只管把消息放进队列,不需要知道有多少个作业在取消息。

这意味着你可以加一个 AI 消费者,而不改动发布事件的应用里的任何一行代码。对 前线部署工程师(FDE)来说,这是实打实的优势:范围小,对客户内部影响小,回滚只需关掉这个消费者。

示例:一个给工单打标签的消费者

假设每条消息都是一个 TicketCreated,包含 event_id、ticket_id、correlation_id 和工单内容。下面这个消费者是可以真正部署的版本,而不只是演示:

def handle(msg):
    try:
        event = parse_ticket_created(msg.body)
    except SchemaError:
        msg.dead_letter(reason="schema")   # 格式错误的消息不要重试
        return

    if processed_events.exists(event.event_id):
        msg.complete()                     # 重复消息:跳过
        return

    if labels.exists_for_correlation(event.ticket_id, event.correlation_id):
        msg.complete()                     # 循环:同一业务流程中该工单已打过标签
        return

    label = classify_with_llm(event.text)  # 重跑也安全,不会造成损害

    with db.transaction():
        labels.upsert(event.ticket_id, label,
                      source_event=event.event_id,
                      correlation_id=event.correlation_id)
        processed_events.insert(event.event_id)
        outbox.add("TicketLabeled",
                   ticket_id=event.ticket_id,
                   correlation_id=event.correlation_id,
                   produced_by="ai-labeler")
    msg.complete()

从上往下读,每个代码块都对应一个具体的陷阱。最关键的是 db.transaction() 里的三个操作:保存标签、把事件标记为已处理、写入 Outbox 表。

这三步要么全部成功,要么全部失败。Microsoft 建议把事务性 Outbox 模式与幂等消费者结合使用,以保持写模型和读模型一致;同样的原则原样适用于这里的 AI 消费者。

注意 LLM 调用放在事务之外。如果进程在调用模型之后、提交之前崩溃,消息会被重新投递,模型会再调用一次。你多花一点 token,但不会有任何副作用被重复执行。这个代价可以接受。

四个陷阱,代码如何避开

第一个陷阱是重复投递。Microsoft 明确指出,队列只保证至少一次投递,也就是说同一条消息可能到达不止一次。

如果处理函数不是幂等的,投影会逐渐偏离事件流,付款、通知之类的副作用也可能被执行多次。对一个有权限给客户发邮件的 AI 消费者来说,这在第一周就可能变成一次事故。

第二个陷阱是毒消息。某张工单可能内容为空,或者用的是旧 schema,导致解析失败。Microsoft 指出,死信队列里的每条消息都是一项未完成的工作。如果没人盯着这个队列,失败会悄无声息地堆积,直到客户发现大量工单没有标签才察觉。

第三个陷阱是事件风暴。编排式(choreography)设计让每个服务自行决定何时、如何行动,通常借助消息代理以发布-订阅方式实现。Microsoft 警告,这种设计可能无意中形成反馈循环或事件风暴。

设想另一个服务监听 TicketLabeled 并更新工单,而这次更新又发布了一条 TicketCreated,AI 消费者便再跑一次。新事件由另一个服务发布,本身不会带 produced_by="ai-labeler";检查 event_id 也拦不住它,因为这是一个新事件。

解决办法是和客户团队约定:所有下游服务都把 correlation_id 传递到自己发布的事件里。

这样,代码中的 labels.exists_for_correlation 这一步才真正发挥作用:同一 correlation_id 下已打过标签的工单会被跳过,循环在第二轮就停下来。

如果客户那边不做这种传递,这项检查就没有可比对的依据。

第四个陷阱是过期数据。读写存储分离时,系统只能做到最终一致,读到的数据可能还没反映最新变更。

如果你的 Agent 从读模型读取客户历史来决定是否退款,它依据的可能是几秒前的数据。如果决策需要最新数据,就直接从事件 payload 中取信息,或者问客户团队读模型通常落后多久。

关联 ID:出了问题还能回答“发生了什么”

Microsoft 指出,没有中央编排器时,没有哪个组件能看到整个业务流程的完整进展。这就是需要关联 ID 和分布式追踪的原因。当客户投诉工单标签打错了,你需要从这个标签追溯到原始事件,再追溯到那次模型调用和所用的 prompt。

方法很简单。你发布的每个事件都必须携带触发它的那个事件的 correlation_id,消费者的每一行日志也都应记录这个 ID。如果客户还没有这样的 ID,就在 AI 上生产环境之前建议加上。改动很小,但在第一次排查事故时就能见到回报。

驻场时的工作顺序

先弄清客户处在三个层次中的哪一层。Microsoft 认为,当应用本来就把事件作为运行方式的自然组成部分时,事件溯源最为合适。

很多客户只有一个队列,这就够了。接着,要一批真实消息样本,读懂 schema,并问清他们是否改过它。

然后以影子模式运行消费者:照常打标签,但只写入一张单独的表,不发布任何事件。等死信队列中的消息数量稳定、标签质量达标后,再开启 Outbox。这样可以把两件事分开看:模型的质量和系统的安全。

如果你正准备转岗做 FDE,就把这些细节原样写进简历。“把 LLM 集成进 Kafka 数据管道”几乎什么都没说明。

“编写了基于 Outbox 的幂等消费者,配有死信告警和关联 ID,在发布事件前以影子模式运行两周”,则能让招聘经理看出你清楚在别人系统上动手的风险。

当岗位描述要求对接现有系统或有消息队列经验时,准备好在面试中完整讲清一个这样的例子,包括你如何处理重复投递。

演示时让人眼前一亮的是模型标签打得准。决定客户是否继续信任你的,是同一条消息第二次到达时,消费者依然安全。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力第一次查客户数据库,营收为什么总算错这张表可能只是一个分片,客户可能在另一个库,复制来的区域列也可能从未更新。