银行用上 ISO 20022,喂给模型的数据仍可能是脏的
旧系统仍在往新的结构化报文里灌自由文本,第一周就要先测出脏数据有多少,再让模型去学。
要点速览
- “我们已经用上 ISO 20022”只说明了报文格式。以自由文本录入的历史地址数据,仍然常常不完整、带缩写、前后不一致。
- Swift 和 EPC 都推迟了禁止完全非结构化地址的截止日期。在今后一段时间里,数据会混杂结构化、混合和非结构化三种形式。
- FDE 的第一项工作是逐个数据源做数据画像,并记录数据血缘。在此之后,才谈得上模型。
你刚到一家银行上班。任务是做一个智能体(Agent),帮合规团队阅读跨境支付报文,按城市和国家对交易对手分组,并标记异常。第一次开会时,客户的技术负责人很有把握地说:“我们已经用上 ISO 20022 了,所有数据都是结构化的。”
这话只说对了一半。另一半通常会在模型上线大约三周后浮出水面,往往表现为一份谁也看不懂、谁也解释不了的交易对手清单。
作为前线部署工程师(FDE),你第一周的任务,就是在这另一半找上门之前先找到它:ISO 20022 实际带来了什么,哪里的数据仍然是脏的,脏到什么程度。
ISO 20022 承诺了什么?
旧的 MT 报文把大量信息塞进几行自由文本。ISO 20022 则用定义清晰的字段来承载名称、邮政地址和汇款信息。机器可以分别读取每一部分,不必再猜一个字符串该从哪里切开。
在 Swift CBPR+ 的跨境支付中,MT 与 ISO 20022 并存的过渡期已于 2025 年 11 月 22 日正式结束。
在越南,由 NAPAS 运营的 ACH 已经实施 ISO 20022,BIDV 自 2023 年起使用这一标准;2025 年 11 月,越南国家银行在河内召开了为期两天的会议,推动该标准在银行间支付中的应用。
所以在越南的银行里,“你们迁移到新标准了吗?”已经不是值得问的问题。真正该问的是:哪些内部系统还在往新报文里灌旧的自由文本数据?
FTI Consulting 认为,由于 ISO 20022 是结构化格式,传统机器学习和生成式 AI 的效果都会显著提升。这是一家咨询公司的观点,而不是独立测量的结果。这个论点有道理,但前提是数据确实放在结构化字段里。
为什么“我们已经用上 ISO 20022”不代表数据干净?
新的报文格式不会修复已有的数据。几十年来以自由文本录入的地址,常常前后不一致、带缩写或不完整。开始做数据画像时,首先要排查的一个风险是:这些历史数据是不是被原封不动地搬进了新报文的自由文本地址行。
这就是为什么同一张表里会出现三种形式。结构化形式把每个组成部分拆开:街道名、门牌号、城镇、国家。混合形式中,一部分内容放在字段里,其余仍留在自由文本行中。
完全非结构化形式则只有文本行。EPC 的规则允许混合形式作为过渡,但禁止完全非结构化地址。问题在于,这条禁令的生效日期一直在变。
按原定时间表,Swift CBPR+ 将从 2026 年 11 月 14 日起不再接受完全非结构化地址。Swift 已推迟这一日期,并预计在 2026 年 12 月之前公布新的时间表。在 SEPA 区域,EPC 也推迟了 2026 年 11 月 15 日的截止日期,之后再另行确定。
实际情况是,客户的数据在一段时间内会混杂三种形式。把任何日期写进计划之前,先查看 Swift 的 SR2026 页面。
第一天的数据画像练习
设想同一个交易对手出现在两条记录里。下面的 XML 仅作示意:
<!-- 完全非结构化 -->
<PstlAdr>
<AdrLine>12 NGUYEN HUE Q1 HCMC VN</AdrLine>
</PstlAdr>
<!-- 结构化 -->
<PstlAdr>
<StrtNm>Nguyen Hue</StrtNm>
<BldgNb>12</BldgNb>
<TwnNm>Ho Chi Minh City</TwnNm>
<Ctry>VN</Ctry>
</PstlAdr>
第一条是完全非结构化的,第二条是结构化的。人一眼就能看出两者是同一个地址。但一个按城镇字段分组的数据管道只能看到第二条,因为第一条没有城镇字段。所以第一件事,是写一个小小的分类脚本:
from collections import Counter
def classify(pstl_adr):
# 没有标签,或者是空的 <PstlAdr/> 标签:都算作缺少地址
if pstl_adr is None or len(pstl_adr) == 0:
return "missing"
tags = [c.tag.split("}")[-1] for c in pstl_adr]
has_lines = "AdrLine" in tags
has_fields = any(t != "AdrLine" for t in tags)
if has_fields and not has_lines:
return "structured"
if has_fields and has_lines:
return "hybrid"
return "unstructured"
def profile(records):
# records:由 (source_system, pstl_adr_element) 组成的列表
return Counter((src, classify(adr)) for src, adr in records)
要留意的细节是空标签。classify 里的注释点明了这一点:缺失的标签和空的 <PstlAdr/> 都算作缺少地址。如果不做这项检查,一个没有子元素的空 <PstlAdr/> 会被计为“unstructured”,你就会错误地告诉客户某个数据源存的是自由文本地址,而实际上它根本没有地址。
假设你抽样 1,000 条记录,发现 380 条结构化、270 条混合、350 条非结构化。如果智能体只读城镇字段,而只有部分混合记录带这个字段,那么它最多只能看到 650 条记录。
至少 350 个交易对手,即这个假设样本的三分之一以上,会在没有任何报错的情况下从分析中消失。
总数不如分数据源的数字重要。如果这 350 条非结构化记录几乎全部来自同一个旧核心系统,你就有了一个可以向客户提出的具体问题:这个数据源的数据,是要标准化,还是排除在范围之外?
动模型之前的五个步骤
第一步,按数据源和时间段抽样,而不是从整张表里随机抽取,因为新旧数据往往差异很大。第二步,运行上面的数据画像,把结果整理成一张“数据源 × 地址形式”的表。业务负责人不用看 XML,也能通过这张表理解问题。
第三步,询问数据治理情况。FTI 强调,元数据目录、字段级数据血缘和保留策略,是可靠且可审计地使用 ISO 20022 数据的前提。在银行里,“这个字段从哪里来,谁转换过它?”这个问题迟早会在审计中被问到。
第四步,找出哪些数据对要解决的问题真正有价值。据 FTI 称,关于最终债务人和最终债权人的更丰富数据,有助于银行更好地了解客户群。但前提是这些字段真的有值,所以要像测地址那样测一下它们的填充率。
到第五步才轮到模型。对于混合和非结构化数据,要明确决定是解析、标记还是剔除,并把这个决定记录下来,供合规团队审查。
新 FDE 常犯的三个错误
最常见的错误,是把“我们已经用上标准了”当真,连数据都不打开看。第二个错误,是用大模型(LLM)把自由文本地址解析成字段,然后覆盖原始数据。
这样做会破坏数据血缘。审计人员问起时,谁也说不清哪些值来自客户、哪些是机器推断出来的。
第三个错误,是围绕一个固定的截止日期制定计划。如前所述,这些日期仍在变动,一份写着“2026 年 11 月之后不再有非结构化地址”的路线图,可能在汇报当天就已经过时。
这项技能在简历上怎么体现?
阅读银行业 FDE 或解决方案工程师岗位的职位描述时,留意 ISO 20022、pacs.008、CBPR+、NAPAS 或 data lineage 这些关键词。应聘这类岗位,要能证明自己既会写代码,也能和支付运营团队沟通。
简历上不要写“了解 ISO 20022”。要写一行带数字的经历:你对多少条记录做了数据画像,在哪个数据源发现了多大比例的非结构化地址,以及你决定如何处理。
如果还没有真实项目,一个使用合成数据的小型代码仓库,配一份解释三种地址形式的 README,就足以开启一场不错的面试。
在银行项目里,FDE 的价值不在于把模型推上生产环境,而在于像那个假设样本中的 350 条记录一样,指出正在悄悄消失的数据,赶在模型从剩下的数据里学习之前。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- CBPR+ is live: what ISO 20022 means in practice (Mambu) · 2026-07-27
- The November 2026 Structured Address Deadline: What Every PSP Needs to Do Now (Clearing Post) · 2026-03-11
- From Compliance to Competition: Unlocking the Benefits of ISO 20022 (FTI Consulting) · 2026-02-18
- Conference promotes ISO 20022 in interbank payment system (Viet Nam News) · 2025-11-17
- BIDV adopts ISO20022 for cross-border payments in its payment hub system · 2023-10-10