# Vì sao “Nguyễn Thị Huệ” không bằng “Nguyễn Thị Huệ” khi join dữ liệu

> Unicode cho phép một chữ tiếng Việt được lưu theo hai cách; không chuẩn hóa trước, phép join lặng lẽ bỏ sót khách mà chẳng báo lỗi.

Bản gốc: https://fdetimes.net/vi/bach-khoa/unicode-tieng-viet-nfc-nfd-loi-du-lieu-khach-hang/

Thứ Sáu, bạn ngồi ở văn phòng khách hàng, ghép danh sách hợp đồng với bảng khách hàng trong CRM. Kết quả trả về thiếu đúng những người có tên như “Nguyễn Thị Huệ”. Bạn mở cả hai file ra, soi từng dấu: giống hệt. Vậy mà `==` vẫn trả về `False`.

Nhiều khả năng chẳng ai gõ sai cả. Thủ phạm thường là chuẩn hóa Unicode: hai cách hiển thị trông y hệt nhau vẫn có thể dùng những code point khác nhau. Tiếng Việt đặc biệt dễ dính lỗi này, vì một chữ cái có thể mang cả dấu mũ lẫn dấu thanh, và câu nào cũng đầy chữ có dấu.

Với một FDE, đây không phải chi tiết kỹ thuật vụn vặt. Một phép join sai không báo lỗi, nó chỉ âm thầm làm rơi mất một phần khách hàng, và rất có thể người phát hiện ra lại là khách chứ không phải bạn.

## Một chữ “ệ”, hai cách lưu

Unicode định nghĩa khái niệm *canonical equivalence*: những dãy code point khác nhau có thể biểu diễn cùng một ký tự. Chữ “ệ” có thể được lưu dưới dạng một code point dựng sẵn, hoặc dưới dạng chữ “e” gốc cộng thêm dấu nặng và dấu mũ dưới dạng ký tự kết hợp (combining mark) đứng sau.

Hai cách lưu đó tương ứng với hai dạng chuẩn. NFD là phân rã chính tắc: tài liệu Python mô tả nó tách mỗi ký tự thành dạng phân rã. NFC thì phân rã trước rồi ghép lại thành ký tự dựng sẵn.

Đặc tả UAX #15 của Unicode viết rõ mục đích của các dạng chuẩn này là giúp phần mềm xác định hai chuỗi Unicode có tương đương nhau hay không.

Mấu chốt nằm ở đây. Khi so sánh, máy chỉ nhìn byte, không nhìn mặt chữ. Một bài giải thích về hệ thống file của Apple nói đúng hiện tượng này: hai cách hiển thị trông y hệt nhau nhưng dùng các code point khác nhau.

**Điểm mấu chốt:** Hai chuỗi trông giống hệt nhau chưa chắc đã là cùng một chuỗi byte.

## Dữ liệu NFD đến từ đâu?

Bạn hiếm khi biết chắc mỗi hệ thống của khách sinh ra dạng nào. Vì thế nên nhớ vài nguồn hay đưa chuỗi NFD vào dữ liệu mà ít ai để ý.

Một nguồn quen thuộc là tên file xuất từ máy Mac. Hệ thống file HFS+ cũ của macOS lưu tên ở dạng NFD: nếu bạn đặt tên theo dạng C, hệ thống tự chuyển sang dạng D. APFS, hệ thống file mới hơn, lại không chuẩn hóa gì cả, nên hai tên file nhìn giống nhau có thể mang code point khác nhau tùy chương trình đã tạo ra chúng.

Thử hình dung tình huống ở đầu bài. Phòng pháp chế gửi bạn một thư mục PDF hợp đồng, mỗi file đặt theo tên khách, được xuất từ một chiếc Mac. Bạn lấy tên khách từ tên file rồi join với bảng CRM được nhập qua web form. Nếu một bên NFD, một bên NFC, mọi cái tên có dấu đều có nguy cơ trượt.

## Ví dụ chạy được: vì sao join trượt

Đoạn Python dưới đây mô phỏng đúng tình huống đó.

```python
import unicodedata as ud

crm = "Nguyễn Thị Huệ"                    # nhập từ web form, dạng NFC
tu_ten_file = ud.normalize("NFD", crm)    # mô phỏng tên lấy từ file xuất trên Mac

print(crm == tu_ten_file)                 # False
print(len(crm), len(tu_ten_file))         # 14 19
print(ud.normalize("NFC", tu_ten_file) == crm)  # True
```

Thử đếm từng code point. Ở dạng NFC, “Nguyễn Thị Huệ” có 14 ký tự. Ở dạng NFD, “ễ” thành ba code point (e, dấu mũ, dấu ngã), “ị” thành hai, “ệ” thành ba, nên chuỗi dài 19. Năm code point chênh lệch đủ để mọi phép so sánh, mọi khóa hash và mọi index trong database coi đây là hai người khác nhau.

Độ dài lệch còn gây ra lỗi thứ hai. Bộ FAQ về Unicode tiếng Việt lưu ý rằng chỉ khi “ệ” ở dạng NFC thì phép tính độ dài mới luôn cho ra 1; ở các dạng khác, những ngôn ngữ như Java hay C# sẽ trả về độ dài khác.

Một rule kiểm tra “tên tối đa 50 ký tự” có thể từ chối một cái tên hoàn toàn hợp lệ chỉ vì nó đến từ máy Mac.

## Cách làm: chuẩn hóa một lần, ở cửa vào

Bước đầu tiên là đo trước khi sửa. Từ Python 3.8 có hàm `unicodedata.is_normalized`, cho biết một chuỗi đã ở dạng chuẩn bạn chỉ định hay chưa. Đây là công cụ kiểm tra chất lượng dữ liệu rẻ nhất bạn có.

```python
def audit(values, form="NFC"):
    lech = [v for v in values if not ud.is_normalized(form, v)]
    return len(lech), lech[:5]

def make_key(name: str) -> str:
    return ud.normalize("NFC", name).strip()
```

Bước thứ hai là chọn một dạng chuẩn và giữ nhất quán. Với tiếng Việt, hãy chọn NFC. W3C khuyến nghị khi chuyển mã văn bản cũ thì kết quả phải ở dạng NFC, và FAQ Unicode tiếng Việt ưu tiên ký tự dựng sẵn vì chúng dễ xử lý hơn và hiển thị, in ấn đẹp hơn.

Bước thứ ba là đặt việc chuẩn hóa ở ranh giới, ngay khi dữ liệu đi vào pipeline, và áp dụng cho cả hai phía của phép join. Trong pandas, nó chỉ là một dòng: `df["key"] = df["ten_khach"].map(make_key)`. Cột gốc vẫn giữ nguyên để đối chiếu khi khách hỏi lại.

Bước cuối cùng là báo cáo con số. Trước và sau khi chuẩn hóa, số dòng khớp thay đổi bao nhiêu? Một câu như “sau khi chuẩn hóa NFC, thêm N hợp đồng tìm được chủ” là loại bằng chứng giúp khách hàng tin pipeline của bạn.

## Những lỗi hay gặp

Lỗi phổ biến nhất là chữa cháy bằng cách bỏ dấu. Join trên chuỗi không dấu thì chắc chắn khớp, nhưng “Huệ” và “Huế”, “Lan” và “Lân” sẽ dính vào nhau. Bạn đổi một lỗi thiếu dữ liệu dễ thấy lấy một lỗi gán nhầm khách hàng khó thấy hơn nhiều.

Lỗi thứ hai là chỉ chuẩn hóa một phía. Bạn sửa file đang cầm trên tay, nhưng bảng trong database của khách vẫn có thể chứa vài dòng NFD từ một lần import cũ.

Nguyên tắc của W3C áp dụng ở đây: các chuỗi tương đương chính tắc phải được xử lý như thể chúng giống hệt nhau, nên phép so sánh phải đi qua cùng một hàm ở mọi nơi.

Lỗi thứ ba là chuyển sang NFKC hoặc NFKD vì thấy chúng “mạnh hơn”. W3C cảnh báo rằng phân rã tương thích làm mất nghĩa của văn bản: chữ số mũ “²” bị gộp thành “2”, chữ ghép “ﬁ” thành “fi”. Với khóa tên khách tiếng Việt, NFC là đủ.

Lỗi cuối cùng là tin vào mắt mình. Khi hai chuỗi “giống nhau” không khớp, đừng soi màn hình nữa; hãy in `len()` hoặc danh sách code point ra. Thói quen này tiết kiệm cho bạn cả buổi chiều.

## Từ một phép join sửa xong đến một dòng trong CV

Bốn bước ở trên cũng là chất liệu cho hồ sơ của bạn.

Trong CV, đừng viết “thành thạo Unicode”. Hãy kể lại đúng quy trình: đo bằng `is_normalized`, chuẩn hóa NFC ở cửa vào cho cả hai phía join, và tỷ lệ khớp tăng từ bao nhiêu lên bao nhiêu. Một dòng như thế cho nhà tuyển dụng thấy bạn tìm ra lỗi im lặng trước khi khách hàng phải tìm.

Lần tới khi một phép join thiếu vài dòng không rõ lý do, câu đầu tiên bạn nên hỏi không phải “ai gõ sai?” mà là “chuỗi này đang ở dạng chuẩn nào?”.

**Thử ngay tuần này:**

- Chọn một cột tên khách trong dự án đang làm, chạy unicodedata.is_normalized('NFC', ...) trên từng dòng và đếm số dòng lệch chuẩn.
- Tạo file tên “Nguyễn Thị Huệ.txt” trên máy Mac, đọc tên file bằng Python rồi in len() và so sánh với chuỗi gõ tay.
- Viết một hàm make_key() dùng chung cho mọi pipeline ghép dữ liệu tiếng Việt và thêm một unit test với chuỗi NFD.

## Nguồn

- [UAX #15: Unicode Normalization Forms (Unicode 18.0.0, revision 58)](https://unicode.org/reports/tr15/)

- [Character Model for the World Wide Web: String Matching (W3C First Public Working Draft)](https://www.w3.org/TR/charmod-norm/)

- [unicodedata — Unicode Database (Python 3.14.8 documentation)](https://docs.python.org/3/library/unicodedata.html)

- [Explainer: Unicode, normalization and APFS](https://eclecticlight.co/2021/05/08/explainer-unicode-normalization-and-apfs/)

- [Vietnamese Unicode FAQs](https://vietunicode.sourceforge.net/faq.htm)
