实时评分出故障后,客户必问的三个问题
消息丢失、重复评分、模型变慢,答案在几行 Kafka 与 Flink 配置里,不在模型本身。
要点速览
- 模型有两个放置位置:内嵌在 Flink 作业中(每个事件无需网络调用),或放在远程模型服务器上(多一些延迟,换来模型的集中管理)。
- Async I/O 让单个实例同时处理大量请求,capacity 限定在途请求数,达到上限时产生背压。
- 故障恢复依靠检查点,而不是已提交的偏移量;精确一次的 KafkaSink 在检查点完成时提交事务。
设想一家运营支付网关的客户。数据科学团队交给你一个反欺诈评分模型,它在历史数据上表现良好;平台团队给你指了一个 Kafka topic,交易数据源源不断地流入。每笔交易都必须在授权系统做出决定之前拿到风险评分。
据 Confluent 介绍,银行和支付网关是“Flink 调用远程模型实时分析交易”这一模式的典型用户。在这种架构里,Kafka 是大家熟悉的那一层,负责把数据送进 Flink;Flink 负责处理并调用模型。
对前线部署工程师(FDE)来说,难点很少在模型本身,而在第一次事故之后客户会问的三个问题:消息会不会丢?有没有交易被评分两次?模型变慢了会怎样?三个问题的答案都在几行配置里,你必须把它们吃透。
模型应该放在作业内部还是外部?
长期撰写 Kafka 相关文章的 Kai Waehner 把部署方式分为两种。内嵌式把模型直接放进流处理应用,每次评分都不需要网络往返。远程式通过 RPC、API 或 HTTP 向模型服务器发请求并等待响应。
| 内嵌式 | 远程式 | |
|---|---|---|
| 模型运行位置 | Flink 作业内部 | 独立的模型服务器 |
| 每个事件是否有网络调用 | 否 | 是,通过 RPC、API 或 HTTP |
| 模型管理 | 与作业绑定:换模型就要重新部署作业 | 集中在一处管理 |
| 代价 | 灵活性较差 | 增加延迟 |
内嵌式一栏的“模型管理”是根据内嵌方式推断出来的:模型位于作业内部,所以切换模型版本就意味着重新部署整个 Flink 作业。
Confluent 把远程推理定位为面向高吞吐量系统的方案,用延迟换灵活性。在客户现场,第一个要问的问题是:模型归谁管,多久重新训练一次?
如果数据科学团队希望发布新版本时不碰 Flink 作业,就选远程式。本文后面都沿这条路线展开。
反欺诈评分管道,逐块拆解
第一块负责读取数据并为数据确定时间。
env.enableCheckpointing(60_000);
KafkaSource<Txn> source = KafkaSource.<Txn>builder()
.setBootstrapServers("broker:9092")
.setTopics("payments.transactions")
.setGroupId("fraud-scoring")
.setStartingOffsets(OffsetsInitializer.earliest())
.setValueOnlyDeserializer(new TxnDeserializer())
.setProperty("partition.discovery.interval.ms", "300000")
.build();
WatermarkStrategy<Txn> wm = WatermarkStrategy
.<Txn>forBoundedOutOfOrderness(Duration.ofSeconds(20))
.withTimestampAssigner((txn, ts) -> txn.eventTimeMillis())
.withIdleness(Duration.ofMinutes(1));
DataStream<Txn> txns = env.fromSource(source, wm, "payments");
Flink 需要一个由两部分组成的 WatermarkStrategy:TimestampAssigner 从数据中取出真实的交易时间,WatermarkGenerator 决定为迟到数据等多久。forBoundedOutOfOrderness 设为 20 秒,表示接受最多迟到 20 秒的交易。这个数字应当与客户商定,而不是自己猜。
withIdleness 这一行能帮你避开一个隐蔽的 bug。如果某个 Kafka 分区没有数据,它可能把整个作业的水位线卡住,所有基于时间的计算都会无限期等待。一分钟后把该输入标记为空闲,正好解决这个问题。
partition.discovery.interval.ms 这一行也值得向客户解释。topic 扩容时,KafkaSource 会自动发现新分区,无需重启作业,默认每 5 分钟检查一次,也就是上面的 300000 毫秒。
第二块负责调用模型。调用方式决定了每个实例每秒能为多少笔交易评分。
DataStream<Scored> scored = AsyncDataStream.unorderedWait(
txns,
new ScoreWithModelServer(), // 使用异步 HTTP 客户端的 RichAsyncFunction
500, TimeUnit.MILLISECONDS, // 单个请求的超时时间
100); // capacity:在途请求数上限
Async I/O 算子以非阻塞方式向模型服务器发送请求、接收响应,因此单个并行实例可以同时处理大量请求。举个假设的例子:模型服务器响应时间为 50ms。
如果在 map 中同步调用,每个实例每秒只能评分 20 笔交易。capacity 设为 100 时,理论上限提高到 2000,前提是模型服务器跟得上。不要把 2000 当作对客户的承诺:真实上限取决于模型服务器的处理能力和作业并行度,先测量,再承诺。
capacity 还有第二个作用。在途请求达到上限时,Async I/O 会向 Kafka 方向产生背压,而不是在内存里无限堆积。
最后一块负责写出结果。
KafkaSink<Scored> sink = KafkaSink.<Scored>builder()
.setBootstrapServers("broker:9092")
.setRecordSerializer(new ScoredSerializer("payments.fraud-scores"))
.setDeliveryGuarantee(DeliveryGuarantee.EXACTLY_ONCE)
.setTransactionalIdPrefix("fraud-scoring-v1")
.build();
scored.sinkTo(sink);
在 EXACTLY_ONCE 模式下,KafkaSink 把所有消息写在一个 Kafka 事务中,只在检查点完成时提交。所以作业开头的 enableCheckpointing 不是可有可无的。transactionalIdPrefix 必须唯一,建议用作业名加版本号命名。
在现场应该按什么顺序搭建?
不要一次就把三块全部拼好。先写一个只读取 topic 并打印的作业,确认反序列化器能正确读取数据、作业有权限访问该 topic,再加其他东西。然后加上水位线,在 Flink UI 中确认每个分区的水位线都在推进。
接下来,用一个桩替换真实模型,让它在模拟延迟后返回固定分数。在几个不同的 capacity 下测量吞吐量并记录结果,因为和模型服务器运维团队协商他们需要承载多少每秒请求数时,这些就是你的依据。等数字稳定之后,再接入真实模型并开启精确一次。
悄无声息搞垮管道的故障
第一种:看到 Kafka 中已提交的偏移量,就以为那是恢复机制。KafkaSource 确实会在检查点完成时提交偏移量,但 Flink 文档写得很清楚,它并不依赖这些偏移量实现容错。已提交的偏移量只用于监控消费延迟,真正的状态保存在检查点里。
第二种:两个作业(比如旧版本和实验版本)使用相同的 transactionalIdPrefix。唯一性要求不是摆设,从一开始就把环境名和版本号放进前缀。
第三种:分区时而空闲时而繁忙的 topic(比如夜间交易)忘了配置 withIdleness。症状是基于时间窗口的特征不再产出结果,而作业仍显示“绿色”。第四种:看到背压就一味调大 capacity,正确做法是先查模型服务器是否过载。
如何把这项技能写进简历
不要写“有 Kafka 和 Flink 经验”。用自己练习得到的数字写一行:把同步模型调用改为 Async I/O,吞吐量从 X 提升到 Y,通过检查点实现精确一次。再配一个小仓库,README 回答客户的三个问题:消息会不会丢,有没有重复评分,模型变慢会怎样。
客户买的不是模型,而是一个承诺:每笔交易都按时、恰好被评分一次。如果你能指出这句承诺里每个词背后对应的那一行配置,客户就会信任你。
这篇文章对你有帮助吗?
感谢你的反馈!