# PSI 0,23 chưa phải lệnh huấn luyện lại model

> Retrain nên dựa trên hiệu năng với nhãn mới và ngưỡng hiệu chỉnh từ lịch sử của khách, nếu không sẽ đốt cả sprint cho một model vẫn chạy tốt.

Bản gốc: https://fdetimes.net/vi/bach-khoa/huan-luyen-lai-model-sau-go-live-khi-nao-du-bang-chung/

Ba tuần sau go-live, dashboard monitoring của khách hàng chuyển sang màu vàng. Một feature quan trọng đang drift, và người quản lý sản phẩm bên khách nhắn cho bạn đúng một câu: "Có phải huấn luyện lại model không?"

Đây là câu hỏi mà FDE nào cũng gặp sau khi deploy. Nếu trả lời "có" quá nhanh, bạn đốt một sprint để retrain trong khi model vẫn chạy tốt. Còn nếu trả lời "chưa" mà không có căn cứ, sẽ đến lúc khách hàng tự nhận ra model đã sai cả tháng nay.

Bài này giúp bạn trả lời câu hỏi đó bằng con số. Cụ thể là đọc tín hiệu drift ra sao, ngưỡng nào chỉ cần ghi log, ngưỡng nào phải điều tra, và lúc nào thì retrain mới thật sự đáng làm.

## Drift là chuông báo, chưa phải chẩn đoán

Điều cần nắm đầu tiên là có nhiều loại "drift", và mỗi loại cần một cách xử lý riêng. Google tách hai khái niệm. Training-serving skew là khi dữ liệu production khác dữ liệu đã dùng để huấn luyện. Inference drift là khi phân phối feature trong production tự thay đổi theo thời gian.

Evidently thì định nghĩa thêm concept drift: quan hệ giữa đầu vào và target thay đổi, khác với chuyện bản thân dữ liệu đầu vào thay đổi. Vì cái thay đổi nằm ở quan hệ chứ không ở đầu vào, dữ liệu vào có thể trông y như cũ trong khi "đúng" đã mang một nghĩa khác. Đó là lý do loại này dễ bị bỏ sót.

| Loại | Cái gì thay đổi | Phát hiện bằng gì | Việc đầu tiên nên làm |
|---|---|---|---|
| Training-serving skew | Dữ liệu production khác dữ liệu huấn luyện ngay từ đầu | So phân phối production với tập huấn luyện | Rà lại pipeline feature, vì lỗi thường nằm ở đó chứ không ở model |
| Inference drift | Phân phối đầu vào thay đổi dần theo thời gian | So các cửa sổ thời gian với nhau (PSI, khoảng cách phân phối) | Điều tra nguyên nhân và kiểm tra hiệu năng trên nhãn mới |
| Concept drift | Quan hệ giữa đầu vào và target | Chỉ thấy rõ khi có nhãn thật | Huấn luyện lại bằng dữ liệu có nhãn mới |

Bảng trên cho thấy một điều mà nhiều người bỏ qua: các công cụ đo drift trên đầu vào chỉ trực tiếp bắt được hai loại đầu. Riêng concept drift thì phải có nhãn mới thấy được.

## Tự tay tính một chỉ số PSI

PSI (Population Stability Index) là chỉ số phổ biến nhất để đo một feature đã dịch chuyển bao nhiêu. Arize đưa ra ba dải "kinh nghiệm". Dưới 0,1 là dịch chuyển nhỏ, thường chỉ cần ghi log như bình thường.

Từ 0,1 đến 0,25 là dịch chuyển vừa: điều tra các feature và kiểm tra hiệu năng của model trên nhãn gần đây. Trên 0,25 là drift đáng kể, nên kiểm định lại model hoặc huấn luyện lại.

Thử hình dung khách hàng của bạn là một sàn thương mại điện tử, đang dùng model chấm điểm gian lận. Bạn chia feature "giá trị đơn hàng" thành 4 khoảng. Trong tập huấn luyện, mỗi khoảng chiếm 25%. Sau ba tuần, production lần lượt chia thành 10%, 20%, 30% và 40%, tức là đơn hàng giá trị cao tăng lên.

```python
import numpy as np

def psi(ref_pct, cur_pct, eps=1e-6):
    ref = np.clip(np.asarray(ref_pct), eps, None)
    cur = np.clip(np.asarray(cur_pct), eps, None)
    return float(np.sum((cur - ref) * np.log(cur / ref)))

print(psi([0.25, 0.25, 0.25, 0.25], [0.10, 0.20, 0.30, 0.40]))
# ≈ 0.228
```

Tính từng khoảng cho ra khoảng 0,137, 0,011, 0,009 và 0,071, cộng lại khoảng 0,228. Theo dải của Arize, con số này nằm trong vùng "vừa". Câu trả lời đúng cho người quản lý sản phẩm lúc này là "chưa retrain, nhưng phải kiểm tra ngay", chứ không phải "có".

Phần lớn giá trị nằm ở khoảng thấp nhất, nơi tỷ lệ tụt từ 25% xuống 10%. Đó là manh mối để bắt đầu hỏi chuyện. Có thể khách vừa chạy khuyến mãi cho hàng đắt tiền. Cũng có thể một kênh bán hàng giá rẻ vừa bị tắt, hoặc pipeline đang lọc mất các đơn nhỏ.

## Ngưỡng mặc định của công cụ không phải ngưỡng của khách hàng

Đến đây là cái bẫy thứ hai. Mỗi công cụ monitoring đi kèm một con số mặc định riêng. Với bảng dữ liệu trên 1000 dòng tham chiếu, Evidently mặc định dùng khoảng cách Wasserstein cho cột số và Jensen-Shannon divergence cho cột phân loại, với ngưỡng 0,1. Ở cấp toàn bộ dataset, `DatasetDriftPreset` chỉ báo drift khi một nửa số cột bị drift.

Vertex AI Model Monitoring v1 thì mặc định theo dõi mọi feature phân loại và feature số với ngưỡng 0,3. Ba con số 0,1, 0,25 và 0,3 đo bằng những thước khác nhau, nên đặt chúng cạnh nhau để so là vô nghĩa.

Nếu bạn bê ngưỡng của công cụ này sang công cụ kia, cảnh báo sẽ hoặc kêu liên tục, hoặc không bao giờ kêu.

Chính Arize cũng nói các dải PSI chỉ là quy tắc kinh nghiệm, và khuyên hiệu chỉnh tỷ lệ báo động giả trên dữ liệu lịch sử. Ở phía khách hàng, cách làm khá đơn giản.

Hãy tính PSI cho từng tháng trong quá khứ, những tháng mà model vẫn chạy ổn. Nếu tháng nào có Tết hay Black Friday cũng ra 0,2, thì 0,228 vào mùa đó là chuyện bình thường.

**Điểm mấu chốt:** Ngưỡng drift tốt nhất là ngưỡng đã chạy thử trên quá khứ của chính khách hàng.

## Hiệu năng, không phải drift, mới quyết định retrain

Hướng dẫn MLOps của Google liệt kê vài kiểu trigger để huấn luyện lại: theo lịch, khi có dữ liệu mới, và khi hiệu năng của model giảm rõ rệt. Kiểu cuối cùng gần với câu hỏi của khách nhất. Drift trên đầu vào chỉ cho bạn biết nên nhìn vào đâu. Hiệu năng mới cho biết model có đang hỏng thật hay không.

Nhưng Evidently chỉ ra một giới hạn lớn: muốn retrain thì phải có dữ liệu ground truth mới được gắn nhãn. Với model gian lận, nhãn có khi về sau vài tuần, lúc khiếu nại hoàn tiền được xử lý xong. Trong khoảng trống đó, bạn dùng proxy metric làm cảnh báo sớm, chẳng hạn tỷ lệ đơn bị chặn hay phân phối điểm số mà model trả ra.

Còn chuyện bao lâu retrain một lần thì Google khuyên dựa vào tốc độ thay đổi của dữ liệu và chi phí của mỗi lần huấn luyện lại. Một model dự báo nhu cầu cho chuỗi cửa hàng và một model gian lận đang bị kẻ xấu dò ngưỡng không thể dùng chung một lịch.

## Với LLM, eval thay cho PSI

Nếu thứ bạn deploy là một LLM đã fine-tune hay một agent, phần lớn tinh thần trên vẫn giữ nguyên. Chỉ có thước đo là khác. Vòng tối ưu của OpenAI bắt đầu bằng eval và lặp lại liên tục, chạy trên dữ liệu test đại diện cho đầu vào thật.

Vì thế, quyết định fine-tune lại nên dựa trên điểm eval, chạy trên một mẫu prompt production lấy định kỳ. Cảm giác "dạo này trả lời kém" của người dùng không phải căn cứ. Khi khách bắt đầu hỏi về một dòng sản phẩm mới, hãy thêm các câu hỏi đó vào bộ eval trước rồi mới tính chuyện huấn luyện lại.

## Quy trình cho lần cảnh báo tiếp theo

Khi dashboard chuyển vàng, hãy đi theo thứ tự sau. Đầu tiên, xác định đây là skew hay drift. Nếu production lệch khỏi tập huấn luyện ngay từ ngày đầu, hãy sửa pipeline.

Tiếp theo, đọc PSI hoặc chỉ số khoảng cách so với ngưỡng đã hiệu chỉnh trên lịch sử, không dùng ngưỡng mặc định. Sau đó tìm khoảng giá trị nào đóng góp nhiều nhất, rồi mang câu hỏi đó sang đội nghiệp vụ.

Kế đến, kiểm tra hiệu năng trên phần nhãn mới nhất đang có. Nếu chưa có nhãn, ghi lại các proxy metric và hẹn ngày nhãn về. Chỉ khi hiệu năng giảm vượt mức đã thống nhất với khách thì mới mở việc retrain, kèm bộ dữ liệu có nhãn và một bản đánh giá so sánh với model cũ.

Có ba lỗi hay gặp. Lỗi đầu là coi mọi cảnh báo drift là lệnh retrain. Lỗi thứ hai là giữ nguyên ngưỡng mặc định của công cụ. Lỗi thứ ba, khó phát hiện nhất, là chỉ theo dõi đầu vào rồi bỏ lọt concept drift, loại drift không hề hiện lên trên biểu đồ phân phối.

## Biến quy trình này thành lợi thế khi đi xin việc

Khi đọc tin tuyển dụng FDE, hãy để ý các cụm như "model monitoring", "post-deployment" hay "own production outcomes". Gặp những cụm này, bạn nên hỏi thẳng trong buổi phỏng vấn ai chịu trách nhiệm model sau go-live, và mang quy trình ở trên ra làm câu trả lời của mình.

Trong CV, một dòng như "xây runbook drift với ngưỡng hiệu chỉnh trên 12 tháng dữ liệu lịch sử, giảm cảnh báo giả" nói được nhiều hơn mọi chứng chỉ, với điều kiện con số trong đó là của chính bạn.

Lần tới khách hỏi "có phải huấn luyện lại không", câu trả lời tốt nhất không phải "có" hay "không". Đó là: "PSI đang ở vùng phải điều tra, nhãn về thứ Năm này, và đây là mức hiệu năng mà chúng ta đã thống nhất là sẽ kích hoạt retrain."

**Thử ngay tuần này:**

- Lấy một feature quan trọng của model đang chạy, tính PSI giữa dữ liệu huấn luyện và dữ liệu production 30 ngày gần nhất bằng đoạn code trong bài
- Chạy lại phép tính đó trên các tháng trong quá khứ để xem một tháng bình thường cho PSI bao nhiêu, rồi đặt ngưỡng cảnh báo theo con số đó
- Hỏi khách hàng nhãn thật về sau bao lâu và ai là người gắn nhãn, rồi ghi câu trả lời vào runbook

## Nguồn

- [What Is Population Stability Index (PSI)?](https://arize.com/glossary/population-stability-index-psi/)

- [Data drift algorithm](https://docs-old.evidentlyai.com/reference/data-drift-algorithm)

- [Introduction to Vertex AI Model Monitoring](https://docs.cloud.google.com/vertex-ai/docs/model-monitoring/overview)

- [MLOps: Continuous delivery and automation pipelines in machine learning](https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning)

- [What is concept drift in ML, and how to detect and address it](https://www.evidentlyai.com/ml-in-production/concept-drift)

- [Model optimization](https://developers.openai.com/api/docs/guides/model-optimization)
