Uptime 99,9% mà câu trả lời vẫn sai: đặt SLO cho chất lượng LLM
Lấy đúng phép tính error budget của SRE, áp vào tỉ lệ câu trả lời đạt chuẩn thay cho request thành công.
Tóm tắt nhanh
- Uptime chỉ cho biết hệ thống có trả lời hay không; semantic SLI mới đo được hệ thống đã nói gì.
- SLI chất lượng = số câu trả lời được judge chấm Pass chia cho tổng số câu được chấm; error budget = 100% trừ SLO.
- Cảnh báo theo burn rate trên nhiều cửa sổ, và vẫn đọc 10-20 trace mỗi tuần để bắt những lỗi máy chưa biết tìm.
Dashboard của khách hàng xanh suốt cả tháng. Uptime 99,9%, latency p95 trong ngưỡng, tỉ lệ lỗi HTTP gần như bằng không. Vậy mà sáng thứ Hai, trưởng nhóm chăm sóc khách hàng gửi bạn ảnh chụp ba câu trả lời của trợ lý AI, câu nào cũng trích sai điều khoản hợp đồng.
Hệ thống không sập. Nó trả lời đầy đủ, nhanh, đúng định dạng, chỉ có điều nội dung sai, và không một cảnh báo nào kêu.
Kỹ năng cần có ở đây là mang kỷ luật SLO của SRE sang chất lượng câu trả lời. Phép tính vẫn y như cũ, chỉ khác ở chỗ ta định nghĩa thế nào là một “sự kiện tốt”.
Uptime đo nhầm thứ cần đo
Sách SRE Workbook của Google định nghĩa SLI là số sự kiện tốt chia cho tổng số sự kiện. Với dịch vụ web, sự kiện tốt thường là request trả về thành công trong ngưỡng thời gian. Định nghĩa này không hề yêu cầu sự kiện tốt phải là chuyện kỹ thuật thuần túy.
Tian Pan, trong một bài viết về SLO cho hệ thống không tất định, gọi tên loại chỉ số còn thiếu là semantic SLI: những chỉ số đánh giá hệ thống đã nói gì, chứ không phải nói nhanh đến đâu. Với trợ lý hợp đồng ở trên, “sự kiện tốt” có thể là câu trả lời có mọi khẳng định đều dựa vào tài liệu đã truy xuất.
Khi đã có tỉ lệ đó, mọi công cụ của SRE dùng được ngay. Error budget, theo Google, là 100% trừ SLO. Burn rate là tốc độ dịch vụ tiêu error budget, so với mức SLO cho phép.
Bắt đầu từ lỗi thật, không từ thang điểm
Sai lầm đầu tiên là mở công cụ eval ra và chọn ngay một chỉ số có sẵn như “helpfulness” hay “quality score”. Hamel Husain và Shreya Shankar cho rằng error analysis là hoạt động quan trọng nhất trong eval. Nghĩa là trước khi quyết định đo cái gì, bạn phải đọc trace thật và ghi lại hệ thống hỏng theo những kiểu nào.
Thử hình dung bạn đọc 100 trace của trợ lý hợp đồng. Có thể bạn thấy vài kiểu lỗi: trích sai số điều khoản, trả lời khi không có tài liệu liên quan, giọng văn quá cứng. Kiểu thứ nhất gây hại thật cho khách hàng, kiểu thứ ba thì không. SLI đầu tiên nên nhắm vào kiểu thứ nhất.
Tiếp theo là cách đo. Husain và Shankar khuyên dùng LLM judge như một bộ phân loại trả về Pass hoặc Fail cho đúng một lỗi cần bắt, thay vì để nó chấm điểm chung. Câu hỏi cho judge rất hẹp: “Mọi số điều khoản trong câu trả lời có xuất hiện trong tài liệu truy xuất không?”
Đừng vội tin judge. Hai tác giả nhấn mạnh phải kiểm tra judge trên các ví dụ do người gán nhãn cho đúng lỗi cần phát hiện. Nếu judge bỏ lọt một nửa số câu sai mà người đã đánh dấu, SLI của bạn sẽ đẹp giả tạo và cảnh báo sẽ im lặng đúng lúc cần kêu.
Một phép tính: SLO 95% trong chu kỳ 30 ngày
Tian Pan khuyên đo hiệu năng hiện tại trên một mẫu traffic đại diện trước khi đặt bất kỳ mục tiêu nào. Giả sử bạn chạy judge đã kiểm định trên hai tuần traffic và thấy khoảng 96-97% câu trả lời đạt. Đặt SLO ở 95% là hợp lý: có chỗ thở, nhưng không che giấu một đợt xuống cấp thật.
Error budget lúc này là 5%: trong 30 ngày, tối đa 5% câu trả lời được chấm có thể trượt. Burn rate bằng 1 nghĩa là tỉ lệ trượt đúng 5%, tiêu hết ngân sách vừa khít cuối chu kỳ. Burn rate bằng 2 nghĩa là tỉ lệ trượt 10%, hết ngân sách sau 15 ngày.
Google khuyến nghị cảnh báo multiwindow, multi-burn-rate là cách phù hợp nhất để bảo vệ SLO. Ngưỡng khởi điểm họ gợi ý: page khi tiêu 2% ngân sách trong một giờ hoặc 5% trong sáu giờ, mở ticket khi tiêu 10% trong ba ngày. Quy đổi sang chu kỳ 30 ngày (720 giờ) và SLO 95%, ta có bảng sau.
| Cửa sổ | Ngân sách bị tiêu | Burn rate | Tỉ lệ trượt tương ứng | Hành động |
|---|---|---|---|---|
| 1 giờ | 2% | 14,4 | 72% | Page ngay |
| 6 giờ | 5% | 6 | 30% | Page |
| 3 ngày | 10% | 1 | 5% | Mở ticket |
Bảng này dạy một điều ít người để ý. Với SLO chất lượng 95%, cảnh báo nhanh chỉ kêu khi gần ba phần tư câu trả lời trượt trong một giờ, tức là lỗi thảm họa như prompt bị ghi đè hoặc index truy xuất rỗng. Phần lớn xuống cấp chất lượng sẽ lộ ra ở cửa sổ sáu giờ hoặc ba ngày, vì thế đừng bỏ qua tầng ticket.
Đoạn code đủ dùng cho tuần đầu
Bạn không cần nền tảng observability đắt tiền để bắt đầu. Đoạn Python dưới đây nhận số Pass và tổng số câu được chấm trong mỗi cửa sổ, rồi quyết định có cảnh báo hay không.
SLO = 0.95
BUDGET = 1 - SLO # 5%
# (hành động, cửa sổ, ngưỡng burn rate) cho chu kỳ 30 ngày
# Bản đơn giản hóa: mỗi luật chỉ xét một cửa sổ dài
RULES = [
("page", "1h", 14.4),
("page", "6h", 6.0),
("ticket", "3d", 1.0),
]
def burn_rate(passes: int, total: int) -> float:
if total == 0:
return 0.0
error_rate = 1 - passes / total
return error_rate / BUDGET
def evaluate(counts: dict[str, tuple[int, int]]) -> list[str]:
alerts = []
for action, window, threshold in RULES:
passes, total = counts[window]
rate = burn_rate(passes, total)
if rate >= threshold:
alerts.append(f"{action}: burn {rate:.1f} trong {window}")
return alerts
# Ví dụ: 1 giờ chấm 50 câu, 40 câu đạt -> trượt 20%, burn 4
print(evaluate({"1h": (40, 50), "6h": (250, 300), "3d": (3300, 3500)}))
Trong ví dụ, giờ gần nhất trượt 20%, chưa đủ để page. Cửa sổ sáu giờ trượt khoảng 16,7%, burn rate khoảng 3,3, cũng chưa đủ. Nhưng ba ngày trượt khoảng 5,7%, burn rate khoảng 1,1, nên đoạn code mở một ticket: chất lượng đang trôi chậm, đúng loại lỗi mà uptime không bao giờ thấy.
Đoạn code này chỉ xét cửa sổ dài, nên một khi sự cố đã qua, cảnh báo vẫn có thể kêu thêm một lúc vì cửa sổ còn chứa những câu trượt cũ. Khi đưa vào production, bạn nên đọc kỹ chương cảnh báo trong SRE Workbook để dựng đủ phần “multiwindow” thay vì dừng ở bản rút gọn này.
Một lưu ý thực tế: judge thường chỉ chạy trên một mẫu traffic để tiết kiệm chi phí. Với 50 câu một giờ, chỉ vài câu trượt ngẫu nhiên đã làm tỉ lệ nhảy mạnh, nên cửa sổ dài mới là nơi tín hiệu ổn định.
Khi số liệu dao động, đừng kẻ một vạch cố định
Điểm của judge dao động theo giờ, theo loại câu hỏi, theo lượng người dùng. Tian Pan gợi ý bổ sung cảnh báo khi giá trị trung bình lệch quá hai độ lệch chuẩn so với một cửa sổ trượt, thay vì khi nó vượt qua một vạch tùy ý.
Cách này bắt được những lần đổi model hoặc đổi prompt khiến chất lượng tụt bậc, kể cả khi vẫn nằm trên SLO.
Nhưng không chỉ số nào bắt được kiểu lỗi chưa ai định nghĩa. Husain và Shankar khuyên mỗi tuần đọc 10-20 trace production, tập trung vào các ca bất thường. Đây là nguồn của SLI tiếp theo: khi bạn thấy một kiểu lỗi mới lặp lại, nó xứng đáng có judge riêng.
Những lỗi hay gặp tại khách hàng
Lỗi phổ biến nhất là đặt mục tiêu theo cảm tính, kiểu “chất lượng phải 99%”, trước khi đo. Kết quả là ngân sách cạn ngay ngày đầu, cảnh báo kêu liên tục và đội vận hành tắt nó đi. Hãy đo baseline trước rồi mới thương lượng con số với khách hàng.
Lỗi thứ hai là dùng một judge chấm “chất lượng tổng thể” từ 1 đến 10. Điểm 7 không nói cho ai biết phải sửa gì, và không kiểm định được với nhãn người một cách rõ ràng. Một judge Pass/Fail cho một lỗi cụ thể vừa dễ kiểm định vừa dễ hành động.
Lỗi thứ ba là coi SLO chất lượng là việc làm một lần. Judge cần được kiểm định lại khi model, prompt hoặc dữ liệu thay đổi, và việc đọc trace hằng tuần phải có tên người chịu trách nhiệm trong lịch vận hành mà bạn bàn giao.
Kỹ năng này nằm ở đâu trong sự nghiệp của bạn
Khi đọc tin tuyển dụng FDE, hãy để ý những cụm như “evals”, “production monitoring”, “reliability của hệ thống AI”. Khi chúng xuất hiện cùng nhau, nhiều khả năng vị trí đó cần người nối được eval với vận hành, đúng kỹ năng mà quy trình trong bài này luyện.
Trên CV, một dòng cụ thể có sức nặng hơn danh sách công cụ: đã định nghĩa SLI chất lượng cho một trợ lý RAG, kiểm định judge với nhãn người, và đặt cảnh báo burn rate nhiều cửa sổ. Nếu chưa có dự án thật, hãy dựng đúng quy trình này trên một ứng dụng nhỏ của bạn và viết lại các con số.
Lần tới khách hàng hỏi “hệ thống có ổn không”, bạn sẽ có hai câu trả lời thay vì một: nó có chạy không, và nó có nói đúng không. Câu thứ hai mới là thứ khiến họ gia hạn hợp đồng.
Bài này có hữu ích không?
Cảm ơn bạn đã góp ý!