FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

银行用上 ISO 20022,喂给模型的数据仍可能是脏的

旧系统仍在往新的结构化报文里灌自由文本,第一周就要先测出脏数据有多少,再让模型去学。

分享微博

要点速览

  • “我们已经用上 ISO 20022”只说明了报文格式。以自由文本录入的历史地址数据,仍然常常不完整、带缩写、前后不一致。
  • Swift 和 EPC 都推迟了禁止完全非结构化地址的截止日期。在今后一段时间里,数据会混杂结构化、混合和非结构化三种形式。
  • FDE 的第一项工作是逐个数据源做数据画像,并记录数据血缘。在此之后,才谈得上模型。
一根横条把 1,000 条假设的地址记录分成三段:380 条结构化、270 条混合、350 条非结构化,其中 350 那段用橙色标出。如果智能体按城市字段对交易对手分组,最多只能看到 650 条记录,至少 350 条、超过样本三分之一的记录会在不报任何错误的情况下从分析中消失。
在这个假设样本中,1,000 个交易对手里至少有 350 个从分析中消失,且没有任何报错。应逐个数据源核对数字,再决定哪些要标准化、哪些要排除在范围之外。

你刚到一家银行上班。任务是做一个智能体(Agent),帮合规团队阅读跨境支付报文,按城市和国家对交易对手分组,并标记异常。第一次开会时,客户的技术负责人很有把握地说:“我们已经用上 ISO 20022 了,所有数据都是结构化的。”

这话只说对了一半。另一半通常会在模型上线大约三周后浮出水面,往往表现为一份谁也看不懂、谁也解释不了的交易对手清单。

作为前线部署工程师(FDE),你第一周的任务,就是在这另一半找上门之前先找到它:ISO 20022 实际带来了什么,哪里的数据仍然是脏的,脏到什么程度。

ISO 20022 承诺了什么?

旧的 MT 报文把大量信息塞进几行自由文本。ISO 20022 则用定义清晰的字段来承载名称、邮政地址和汇款信息。机器可以分别读取每一部分,不必再猜一个字符串该从哪里切开。

在 Swift CBPR+ 的跨境支付中,MT 与 ISO 20022 并存的过渡期已于 2025 年 11 月 22 日正式结束。

在越南,由 NAPAS 运营的 ACH 已经实施 ISO 20022,BIDV 自 2023 年起使用这一标准;2025 年 11 月,越南国家银行在河内召开了为期两天的会议,推动该标准在银行间支付中的应用。

所以在越南的银行里,“你们迁移到新标准了吗?”已经不是值得问的问题。真正该问的是:哪些内部系统还在往新报文里灌旧的自由文本数据?

FTI Consulting 认为,由于 ISO 20022 是结构化格式,传统机器学习和生成式 AI 的效果都会显著提升。这是一家咨询公司的观点,而不是独立测量的结果。这个论点有道理,但前提是数据确实放在结构化字段里。

为什么“我们已经用上 ISO 20022”不代表数据干净?

新的报文格式不会修复已有的数据。几十年来以自由文本录入的地址,常常前后不一致、带缩写或不完整。开始做数据画像时,首先要排查的一个风险是:这些历史数据是不是被原封不动地搬进了新报文的自由文本地址行。

这就是为什么同一张表里会出现三种形式。结构化形式把每个组成部分拆开:街道名、门牌号、城镇、国家。混合形式中,一部分内容放在字段里,其余仍留在自由文本行中。

完全非结构化形式则只有文本行。EPC 的规则允许混合形式作为过渡,但禁止完全非结构化地址。问题在于,这条禁令的生效日期一直在变。

按原定时间表,Swift CBPR+ 将从 2026 年 11 月 14 日起不再接受完全非结构化地址。Swift 已推迟这一日期,并预计在 2026 年 12 月之前公布新的时间表。在 SEPA 区域,EPC 也推迟了 2026 年 11 月 15 日的截止日期,之后再另行确定。

实际情况是,客户的数据在一段时间内会混杂三种形式。把任何日期写进计划之前,先查看 Swift 的 SR2026 页面。

第一天的数据画像练习

设想同一个交易对手出现在两条记录里。下面的 XML 仅作示意:

<!-- 完全非结构化 -->
<PstlAdr>
  <AdrLine>12 NGUYEN HUE Q1 HCMC VN</AdrLine>
</PstlAdr>

<!-- 结构化 -->
<PstlAdr>
  <StrtNm>Nguyen Hue</StrtNm>
  <BldgNb>12</BldgNb>
  <TwnNm>Ho Chi Minh City</TwnNm>
  <Ctry>VN</Ctry>
</PstlAdr>

第一条是完全非结构化的,第二条是结构化的。人一眼就能看出两者是同一个地址。但一个按城镇字段分组的数据管道只能看到第二条,因为第一条没有城镇字段。所以第一件事,是写一个小小的分类脚本:

from collections import Counter

def classify(pstl_adr):
    # 没有标签,或者是空的 <PstlAdr/> 标签:都算作缺少地址
    if pstl_adr is None or len(pstl_adr) == 0:
        return "missing"
    tags = [c.tag.split("}")[-1] for c in pstl_adr]
    has_lines = "AdrLine" in tags
    has_fields = any(t != "AdrLine" for t in tags)
    if has_fields and not has_lines:
        return "structured"
    if has_fields and has_lines:
        return "hybrid"
    return "unstructured"

def profile(records):
    # records:由 (source_system, pstl_adr_element) 组成的列表
    return Counter((src, classify(adr)) for src, adr in records)

要留意的细节是空标签。classify 里的注释点明了这一点:缺失的标签和空的 <PstlAdr/> 都算作缺少地址。如果不做这项检查,一个没有子元素的空 <PstlAdr/> 会被计为“unstructured”,你就会错误地告诉客户某个数据源存的是自由文本地址,而实际上它根本没有地址。

假设你抽样 1,000 条记录,发现 380 条结构化、270 条混合、350 条非结构化。如果智能体只读城镇字段,而只有部分混合记录带这个字段,那么它最多只能看到 650 条记录。

至少 350 个交易对手,即这个假设样本的三分之一以上,会在没有任何报错的情况下从分析中消失。

总数不如分数据源的数字重要。如果这 350 条非结构化记录几乎全部来自同一个旧核心系统,你就有了一个可以向客户提出的具体问题:这个数据源的数据,是要标准化,还是排除在范围之外?

动模型之前的五个步骤

第一步,按数据源和时间段抽样,而不是从整张表里随机抽取,因为新旧数据往往差异很大。第二步,运行上面的数据画像,把结果整理成一张“数据源 × 地址形式”的表。业务负责人不用看 XML,也能通过这张表理解问题。

第三步,询问数据治理情况。FTI 强调,元数据目录、字段级数据血缘和保留策略,是可靠且可审计地使用 ISO 20022 数据的前提。在银行里,“这个字段从哪里来,谁转换过它?”这个问题迟早会在审计中被问到。

第四步,找出哪些数据对要解决的问题真正有价值。据 FTI 称,关于最终债务人和最终债权人的更丰富数据,有助于银行更好地了解客户群。但前提是这些字段真的有值,所以要像测地址那样测一下它们的填充率。

到第五步才轮到模型。对于混合和非结构化数据,要明确决定是解析、标记还是剔除,并把这个决定记录下来,供合规团队审查。

新 FDE 常犯的三个错误

最常见的错误,是把“我们已经用上标准了”当真,连数据都不打开看。第二个错误,是用大模型(LLM)把自由文本地址解析成字段,然后覆盖原始数据。

这样做会破坏数据血缘。审计人员问起时,谁也说不清哪些值来自客户、哪些是机器推断出来的。

第三个错误,是围绕一个固定的截止日期制定计划。如前所述,这些日期仍在变动,一份写着“2026 年 11 月之后不再有非结构化地址”的路线图,可能在汇报当天就已经过时。

这项技能在简历上怎么体现?

阅读银行业 FDE 或解决方案工程师岗位的职位描述时,留意 ISO 20022、pacs.008、CBPR+、NAPAS 或 data lineage 这些关键词。应聘这类岗位,要能证明自己既会写代码,也能和支付运营团队沟通。

简历上不要写“了解 ISO 20022”。要写一行带数字的经历:你对多少条记录做了数据画像,在哪个数据源发现了多大比例的非结构化地址,以及你决定如何处理。

如果还没有真实项目,一个使用合成数据的小型代码仓库,配一份解释三种地址形式的 README,就足以开启一场不错的面试。

在银行项目里,FDE 的价值不在于把模型推上生产环境,而在于像那个假设样本中的 350 条记录一样,指出正在悄悄消失的数据,赶在模型从剩下的数据里学习之前。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力漏掉一个 WHERE 条件,RAG 系统就会跨客户泄露数据租户边界应在设计阶段落到数据库、向量库、加密密钥和配置中,而不是拖到最后一个冲刺。