# 实时评分出故障后，客户必问的三个问题

> 消息丢失、重复评分、模型变慢，答案在几行 Kafka 与 Flink 配置里，不在模型本身。

原文: https://fdetimes.net/zh/guides/kafka-flink-real-time-model-scoring/

设想一家运营支付网关的客户。数据科学团队交给你一个反欺诈评分模型，它在历史数据上表现良好；平台团队给你指了一个 Kafka topic，交易数据源源不断地流入。每笔交易都必须在授权系统做出决定之前拿到风险评分。

据 Confluent 介绍，银行和支付网关是“Flink 调用远程模型实时分析交易”这一模式的典型用户。在这种架构里，Kafka 是大家熟悉的那一层，负责把数据送进 Flink；Flink 负责处理并调用模型。

对前线部署工程师（FDE）来说，难点很少在模型本身，而在第一次事故之后客户会问的三个问题：消息会不会丢？有没有交易被评分两次？模型变慢了会怎样？三个问题的答案都在几行配置里，你必须把它们吃透。

## 模型应该放在作业内部还是外部？

长期撰写 Kafka 相关文章的 Kai Waehner 把部署方式分为两种。内嵌式把模型直接放进流处理应用，每次评分都不需要网络往返。远程式通过 RPC、API 或 HTTP 向模型服务器发请求并等待响应。

| | 内嵌式 | 远程式 |
|---|---|---|
| 模型运行位置 | Flink 作业内部 | 独立的模型服务器 |
| 每个事件是否有网络调用 | 否 | 是，通过 RPC、API 或 HTTP |
| 模型管理 | 与作业绑定：换模型就要重新部署作业 | 集中在一处管理 |
| 代价 | 灵活性较差 | 增加延迟 |

内嵌式一栏的“模型管理”是根据内嵌方式推断出来的：模型位于作业内部，所以切换模型版本就意味着重新部署整个 Flink 作业。

Confluent 把远程推理定位为面向高吞吐量系统的方案，用延迟换灵活性。在客户现场，第一个要问的问题是：模型归谁管，多久重新训练一次？

如果数据科学团队希望发布新版本时不碰 Flink 作业，就选远程式。本文后面都沿这条路线展开。

## 反欺诈评分管道，逐块拆解

第一块负责读取数据并为数据确定时间。

```java
env.enableCheckpointing(60_000);

KafkaSource<Txn> source = KafkaSource.<Txn>builder()
    .setBootstrapServers("broker:9092")
    .setTopics("payments.transactions")
    .setGroupId("fraud-scoring")
    .setStartingOffsets(OffsetsInitializer.earliest())
    .setValueOnlyDeserializer(new TxnDeserializer())
    .setProperty("partition.discovery.interval.ms", "300000")
    .build();

WatermarkStrategy<Txn> wm = WatermarkStrategy
    .<Txn>forBoundedOutOfOrderness(Duration.ofSeconds(20))
    .withTimestampAssigner((txn, ts) -> txn.eventTimeMillis())
    .withIdleness(Duration.ofMinutes(1));

DataStream<Txn> txns = env.fromSource(source, wm, "payments");
```

Flink 需要一个由两部分组成的 `WatermarkStrategy`：`TimestampAssigner` 从数据中取出真实的交易时间，`WatermarkGenerator` 决定为迟到数据等多久。`forBoundedOutOfOrderness` 设为 20 秒，表示接受最多迟到 20 秒的交易。这个数字应当与客户商定，而不是自己猜。

`withIdleness` 这一行能帮你避开一个隐蔽的 bug。如果某个 Kafka 分区没有数据，它可能把整个作业的水位线卡住，所有基于时间的计算都会无限期等待。一分钟后把该输入标记为空闲，正好解决这个问题。

`partition.discovery.interval.ms` 这一行也值得向客户解释。topic 扩容时，KafkaSource 会自动发现新分区，无需重启作业，默认每 5 分钟检查一次，也就是上面的 300000 毫秒。

第二块负责调用模型。调用方式决定了每个实例每秒能为多少笔交易评分。

```java
DataStream<Scored> scored = AsyncDataStream.unorderedWait(
    txns,
    new ScoreWithModelServer(),   // 使用异步 HTTP 客户端的 RichAsyncFunction
    500, TimeUnit.MILLISECONDS,   // 单个请求的超时时间
    100);                         // capacity：在途请求数上限
```

Async I/O 算子以非阻塞方式向模型服务器发送请求、接收响应，因此单个并行实例可以同时处理大量请求。举个假设的例子：模型服务器响应时间为 50ms。

如果在 `map` 中同步调用，每个实例每秒只能评分 20 笔交易。capacity 设为 100 时，理论上限提高到 2000，前提是模型服务器跟得上。不要把 2000 当作对客户的承诺：真实上限取决于模型服务器的处理能力和作业并行度，先测量，再承诺。

capacity 还有第二个作用。在途请求达到上限时，Async I/O 会向 Kafka 方向产生背压，而不是在内存里无限堆积。

**要点:** 背压不是 bug，而是管道在告诉你：模型过载了。

最后一块负责写出结果。

```java
KafkaSink<Scored> sink = KafkaSink.<Scored>builder()
    .setBootstrapServers("broker:9092")
    .setRecordSerializer(new ScoredSerializer("payments.fraud-scores"))
    .setDeliveryGuarantee(DeliveryGuarantee.EXACTLY_ONCE)
    .setTransactionalIdPrefix("fraud-scoring-v1")
    .build();

scored.sinkTo(sink);
```

在 `EXACTLY_ONCE` 模式下，KafkaSink 把所有消息写在一个 Kafka 事务中，只在检查点完成时提交。所以作业开头的 `enableCheckpointing` 不是可有可无的。`transactionalIdPrefix` 必须唯一，建议用作业名加版本号命名。

## 在现场应该按什么顺序搭建？

不要一次就把三块全部拼好。先写一个只读取 topic 并打印的作业，确认反序列化器能正确读取数据、作业有权限访问该 topic，再加其他东西。然后加上水位线，在 Flink UI 中确认每个分区的水位线都在推进。

接下来，用一个桩替换真实模型，让它在模拟延迟后返回固定分数。在几个不同的 capacity 下测量吞吐量并记录结果，因为和模型服务器运维团队协商他们需要承载多少每秒请求数时，这些就是你的依据。等数字稳定之后，再接入真实模型并开启精确一次。

## 悄无声息搞垮管道的故障

第一种：看到 Kafka 中已提交的偏移量，就以为那是恢复机制。KafkaSource 确实会在检查点完成时提交偏移量，但 Flink 文档写得很清楚，它并不依赖这些偏移量实现容错。已提交的偏移量只用于监控消费延迟，真正的状态保存在检查点里。

第二种：两个作业（比如旧版本和实验版本）使用相同的 `transactionalIdPrefix`。唯一性要求不是摆设，从一开始就把环境名和版本号放进前缀。

第三种：分区时而空闲时而繁忙的 topic（比如夜间交易）忘了配置 `withIdleness`。症状是基于时间窗口的特征不再产出结果，而作业仍显示“绿色”。第四种：看到背压就一味调大 capacity，正确做法是先查模型服务器是否过载。

## 如何把这项技能写进简历

不要写“有 Kafka 和 Flink 经验”。用自己练习得到的数字写一行：把同步模型调用改为 Async I/O，吞吐量从 X 提升到 Y，通过检查点实现精确一次。再配一个小仓库，README 回答客户的三个问题：消息会不会丢，有没有重复评分，模型变慢会怎样。

客户买的不是模型，而是一个承诺：每笔交易都按时、恰好被评分一次。如果你能指出这句承诺里每个词背后对应的那一行配置，客户就会信任你。

**本周动手试试:**

- 在本地运行 Kafka 和 Flink，写一个 50ms 后返回随机分数的假模型服务器，比较同步调用与 capacity 为 100 的 Async I/O 的吞吐量。
- 创建一个有 4 个分区的 topic，只向其中 3 个写数据，观察水位线停滞，然后加上 withIdleness，看它重新推进。
- 为客户写一页运维手册，回答三个问题：消息会不会丢，有没有重复评分，模型变慢会怎样，每个答案都指向相应的那一行配置。

## 信源

- [Using Apache Flink® for Model Inference: A Guide for Real-Time AI Applications](https://www.confluent.io/blog/using-flink-for-model-inference-a-guide-for-realtime-ai-applications/)

- [Real-Time Model Inference with Apache Kafka and Flink for Predictive AI and GenAI](https://www.kai-waehner.de/?p=6771)

- [Kafka | Apache Flink](https://nightlies.apache.org/flink/flink-docs-stable/docs/connectors/datastream/kafka/)

- [Generating Watermarks | Apache Flink](https://nightlies.apache.org/flink/flink-docs-stable/docs/dev/datastream/event-time/generating_watermarks/)

- [Asynchronous I/O for External Data Access](https://nightlies.apache.org/flink/flink-docs-stable/docs/dev/datastream/operators/asyncio/)
