FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

实时评分出故障后,客户必问的三个问题

消息丢失、重复评分、模型变慢,答案在几行 Kafka 与 Flink 配置里,不在模型本身。

分享微博

要点速览

  • 模型有两个放置位置:内嵌在 Flink 作业中(每个事件无需网络调用),或放在远程模型服务器上(多一些延迟,换来模型的集中管理)。
  • Async I/O 让单个实例同时处理大量请求,capacity 限定在途请求数,达到上限时产生背压。
  • 故障恢复依靠检查点,而不是已提交的偏移量;精确一次的 KafkaSink 在检查点完成时提交事务。
反欺诈评分管道示意图。Kafka topic payments.transactions 把数据送入 KafkaSource(水位线 20 秒,withIdleness 1 分钟),再进入以橙色突出显示的 Async I/O 阶段(超时 500ms,capacity 100)。Async I/O 通过非阻塞 HTTP 调用远程模型服务器,假设响应时间为 50ms。结果经过 KafkaSink(EXACTLY_ONCE,唯一前缀)写入 topic payments.fraud-scores。一条橙色虚线箭头表示在途请求达到 100 时背压回流到 Kafka。下方一条每 60 秒一次的检查点横条从 KafkaSource 延伸到 KafkaSink。三张卡片回答客户的三个问题:检查点保证消息不丢,EXACTLY_ONCE 保证不重复评分,模型变慢时产生背压。
客户的每个问题都有一行配置作答:检查点、EXACTLY_ONCE 和 Async I/O 的 capacity。

设想一家运营支付网关的客户。数据科学团队交给你一个反欺诈评分模型,它在历史数据上表现良好;平台团队给你指了一个 Kafka topic,交易数据源源不断地流入。每笔交易都必须在授权系统做出决定之前拿到风险评分。

据 Confluent 介绍,银行和支付网关是“Flink 调用远程模型实时分析交易”这一模式的典型用户。在这种架构里,Kafka 是大家熟悉的那一层,负责把数据送进 Flink;Flink 负责处理并调用模型。

对前线部署工程师(FDE)来说,难点很少在模型本身,而在第一次事故之后客户会问的三个问题:消息会不会丢?有没有交易被评分两次?模型变慢了会怎样?三个问题的答案都在几行配置里,你必须把它们吃透。

模型应该放在作业内部还是外部?

长期撰写 Kafka 相关文章的 Kai Waehner 把部署方式分为两种。内嵌式把模型直接放进流处理应用,每次评分都不需要网络往返。远程式通过 RPC、API 或 HTTP 向模型服务器发请求并等待响应。

内嵌式 远程式
模型运行位置 Flink 作业内部 独立的模型服务器
每个事件是否有网络调用 否 是,通过 RPC、API 或 HTTP
模型管理 与作业绑定:换模型就要重新部署作业 集中在一处管理
代价 灵活性较差 增加延迟

内嵌式一栏的“模型管理”是根据内嵌方式推断出来的:模型位于作业内部,所以切换模型版本就意味着重新部署整个 Flink 作业。

Confluent 把远程推理定位为面向高吞吐量系统的方案,用延迟换灵活性。在客户现场,第一个要问的问题是:模型归谁管,多久重新训练一次?

如果数据科学团队希望发布新版本时不碰 Flink 作业,就选远程式。本文后面都沿这条路线展开。

反欺诈评分管道,逐块拆解

第一块负责读取数据并为数据确定时间。

env.enableCheckpointing(60_000);

KafkaSource<Txn> source = KafkaSource.<Txn>builder()
    .setBootstrapServers("broker:9092")
    .setTopics("payments.transactions")
    .setGroupId("fraud-scoring")
    .setStartingOffsets(OffsetsInitializer.earliest())
    .setValueOnlyDeserializer(new TxnDeserializer())
    .setProperty("partition.discovery.interval.ms", "300000")
    .build();

WatermarkStrategy<Txn> wm = WatermarkStrategy
    .<Txn>forBoundedOutOfOrderness(Duration.ofSeconds(20))
    .withTimestampAssigner((txn, ts) -> txn.eventTimeMillis())
    .withIdleness(Duration.ofMinutes(1));

DataStream<Txn> txns = env.fromSource(source, wm, "payments");

Flink 需要一个由两部分组成的 WatermarkStrategy:TimestampAssigner 从数据中取出真实的交易时间,WatermarkGenerator 决定为迟到数据等多久。forBoundedOutOfOrderness 设为 20 秒,表示接受最多迟到 20 秒的交易。这个数字应当与客户商定,而不是自己猜。

withIdleness 这一行能帮你避开一个隐蔽的 bug。如果某个 Kafka 分区没有数据,它可能把整个作业的水位线卡住,所有基于时间的计算都会无限期等待。一分钟后把该输入标记为空闲,正好解决这个问题。

partition.discovery.interval.ms 这一行也值得向客户解释。topic 扩容时,KafkaSource 会自动发现新分区,无需重启作业,默认每 5 分钟检查一次,也就是上面的 300000 毫秒。

第二块负责调用模型。调用方式决定了每个实例每秒能为多少笔交易评分。

DataStream<Scored> scored = AsyncDataStream.unorderedWait(
    txns,
    new ScoreWithModelServer(),   // 使用异步 HTTP 客户端的 RichAsyncFunction
    500, TimeUnit.MILLISECONDS,   // 单个请求的超时时间
    100);                         // capacity:在途请求数上限

Async I/O 算子以非阻塞方式向模型服务器发送请求、接收响应,因此单个并行实例可以同时处理大量请求。举个假设的例子:模型服务器响应时间为 50ms。

如果在 map 中同步调用,每个实例每秒只能评分 20 笔交易。capacity 设为 100 时,理论上限提高到 2000,前提是模型服务器跟得上。不要把 2000 当作对客户的承诺:真实上限取决于模型服务器的处理能力和作业并行度,先测量,再承诺。

capacity 还有第二个作用。在途请求达到上限时,Async I/O 会向 Kafka 方向产生背压,而不是在内存里无限堆积。

最后一块负责写出结果。

KafkaSink<Scored> sink = KafkaSink.<Scored>builder()
    .setBootstrapServers("broker:9092")
    .setRecordSerializer(new ScoredSerializer("payments.fraud-scores"))
    .setDeliveryGuarantee(DeliveryGuarantee.EXACTLY_ONCE)
    .setTransactionalIdPrefix("fraud-scoring-v1")
    .build();

scored.sinkTo(sink);

在 EXACTLY_ONCE 模式下,KafkaSink 把所有消息写在一个 Kafka 事务中,只在检查点完成时提交。所以作业开头的 enableCheckpointing 不是可有可无的。transactionalIdPrefix 必须唯一,建议用作业名加版本号命名。

在现场应该按什么顺序搭建?

不要一次就把三块全部拼好。先写一个只读取 topic 并打印的作业,确认反序列化器能正确读取数据、作业有权限访问该 topic,再加其他东西。然后加上水位线,在 Flink UI 中确认每个分区的水位线都在推进。

接下来,用一个桩替换真实模型,让它在模拟延迟后返回固定分数。在几个不同的 capacity 下测量吞吐量并记录结果,因为和模型服务器运维团队协商他们需要承载多少每秒请求数时,这些就是你的依据。等数字稳定之后,再接入真实模型并开启精确一次。

悄无声息搞垮管道的故障

第一种:看到 Kafka 中已提交的偏移量,就以为那是恢复机制。KafkaSource 确实会在检查点完成时提交偏移量,但 Flink 文档写得很清楚,它并不依赖这些偏移量实现容错。已提交的偏移量只用于监控消费延迟,真正的状态保存在检查点里。

第二种:两个作业(比如旧版本和实验版本)使用相同的 transactionalIdPrefix。唯一性要求不是摆设,从一开始就把环境名和版本号放进前缀。

第三种:分区时而空闲时而繁忙的 topic(比如夜间交易)忘了配置 withIdleness。症状是基于时间窗口的特征不再产出结果,而作业仍显示“绿色”。第四种:看到背压就一味调大 capacity,正确做法是先查模型服务器是否过载。

如何把这项技能写进简历

不要写“有 Kafka 和 Flink 经验”。用自己练习得到的数字写一行:把同步模型调用改为 Async I/O,吞吐量从 X 提升到 Y,通过检查点实现精确一次。再配一个小仓库,README 回答客户的三个问题:消息会不会丢,有没有重复评分,模型变慢会怎样。

客户买的不是模型,而是一个承诺:每笔交易都按时、恰好被评分一次。如果你能指出这句承诺里每个词背后对应的那一行配置,客户就会信任你。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力数据放在哪没问清,三周代码白写了在客户网络里开发的 FDE,花两天写一页设计文档,就能趁分歧还好改时把它暴露出来。