# Khoá eval của W&B dạy dựng LLM judge, nhưng judge vẫn cần người chấm

> Tài liệu Weave bổ sung cách tách kiểm tra bằng code khỏi judge, phần đáng mang về site khách hàng nhất.

Bản gốc: https://fdetimes.net/vi/sach-khoa-hoc/khoa-llm-apps-evaluation-weights-and-biases/

Weights & Biases giới thiệu khoá "LLM Apps: Evaluation" với một mục tiêu đầy tham vọng. Theo thông báo cập nhật lần cuối ngày 8/1/2025, khoá học hướng tới các kỹ thuật xây, tối ưu và mở rộng bộ đánh giá AI mà chỉ cần rất ít công sức của con người. Với người làm FDE, câu đó vừa là lời mời vừa là cái bẫy.

Lời mời nằm ở chỗ gần như khách hàng nào cũng hỏi cùng một câu sau buổi demo: làm sao biết hệ thống này đủ tốt để đưa vào production? Cái bẫy nằm ở vế "ít con người". Tại site khách hàng, người định nghĩa được thế nào là "tốt" thường là chuyên viên nghiệp vụ của họ, không phải một model khác.

Vì thế, nên học khoá này song song với tài liệu Weave. Khoá tập trung vào LLM judge, còn tài liệu Weave cho thấy cách ghép kiểm tra bằng code với judge thành một pipeline đánh giá lai. Riêng lời hứa tự động hoá thì nên giữ khoảng cách.

## Khoá học thật sự dạy kỹ năng gì?

W&B giới thiệu đây là khoá học về xây LLM judge. Trang khoá học chính thức trên wandb.ai trả về lỗi 404, nên hiện chỉ bài thông báo của hãng xác nhận tên khoá và nội dung. Chương 3 do Ayush Thakur phụ trách, tập trung vào cách cấu trúc một LLM evaluator.

Theo W&B, cách tiếp cận của chương 3 biến những tiêu chí chủ quan như ngữ pháp, độ mạch lạc và logic thành các phép kiểm tra lặp lại được và mở rộng được.

Nền công cụ là Weave của W&B. Trang sản phẩm về evaluation của hãng định nghĩa đánh giá là đo xem agent và ứng dụng AI hoạt động tốt đến đâu, xét theo nhiều khía cạnh, bằng benchmark, kịch bản thực tế và phân tích so sánh. Đơn vị trung tâm là scorer, nhận đầu vào và đầu ra của ứng dụng rồi trả về metric.

Kỹ năng FDE mà khoá học rèn là biến một yêu cầu mơ hồ của khách hàng, chẳng hạn "câu trả lời phải chuyên nghiệp", thành phép đo chạy lại được mỗi khi đổi prompt hay đổi model.

## Hai loại scorer, hai loại câu hỏi

Tài liệu Weave chia scorer thành hai phía. Phía code là function-based scorer: một hàm Python bình thường gắn decorator `@weave.op` và trả về dictionary. Ví dụ trong tài liệu đơn giản đến mức dễ bị coi nhẹ: kiểm tra xem văn bản có viết hoa toàn bộ hay không.

Phía còn lại là LLM-as-a-judge. Prompt chấm điểm có thể tham chiếu các biến của op đang được đánh giá. Với dạng này, tài liệu khuyên dùng class-based `Scorer`, một phần để dễ thử nhiều prompt khác nhau cho judge.

Lấy một ví dụ giả định: chatbot tóm tắt hồ sơ bồi thường cho một công ty bảo hiểm, với bộ 200 ca kiểm thử.

Scorer bằng code kiểm tra đầu ra có parse được thành JSON không, có mã hồ sơ đúng định dạng không và có vượt giới hạn độ dài không.

Nếu 30 ca rớt ngay ở bước này thì lỗi đã rõ, không cần tốn lời gọi judge cho chúng.

Chỉ 170 ca còn lại mới được chuyển sang judge để chấm độ mạch lạc và tính đúng đắn về logic. Judge chỉ nên trả lời những câu mà code không trả lời được.

## Ba ý đáng mang về site khách hàng

Ý đầu tiên chính là thứ tự ở ví dụ trên: chạy code trước, judge sau. Rẻ và chắc chắn đi trước, đắt và dao động đi sau. Nhờ vậy, khi báo cáo với khách hàng, bạn tách được lỗi định dạng, thứ sửa trong một buổi chiều, khỏi lỗi chất lượng, thứ cần thảo luận với họ.

Ý thứ hai là chia nhỏ tiêu chí chủ quan.

Chương 3 cho thấy ngữ pháp, mạch lạc và logic đều có thể thành phép kiểm tra lặp lại được; bước nên làm tiếp là giao mỗi tiêu chí cho một scorer riêng, thay vì hỏi judge một câu chung chung kiểu "câu trả lời có tốt không" rồi nhận về một điểm tổng.

Khi điểm tụt, bạn biết ngay chiều nào hỏng.

Ý thứ ba: prompt của judge cũng là code. Lời khuyên dùng class-based Scorer để thử nhiều prompt cho thấy judge cần được đặt phiên bản, so sánh và lặp lại như mọi thành phần khác của hệ thống.

**Điểm mấu chốt:** LLM judge cũng là một model cần được đánh giá trước khi được tin.

## Phần nên tự bổ sung: người chấm

Mục tiêu "ít công sức con người" hợp lý ở giai đoạn mở rộng, khi judge đã chạy ổn định trên hàng nghìn đầu ra. Ở giai đoạn định nghĩa thì không.

Trước khi dùng điểm của judge trong báo cáo cho khách hàng, hãy nhờ chuyên viên của họ gán nhãn một mẫu nhỏ và so với điểm judge. Nếu hai bên lệch nhau, chỉnh prompt rồi mới mở rộng.

Đây cũng là bước giúp bạn được khách hàng tin. Một con số do chính đội của họ xác nhận thuyết phục hơn mọi biểu đồ dashboard.

## Ai nên học, và học theo thứ tự nào

Khoá học hợp nhất với kỹ sư đã đưa được một ứng dụng LLM lên chạy nhưng chưa có bộ đánh giá nào.

Hãy bắt đầu từ trang tổng quan về scorer trong tài liệu Weave (docs.coreweave.com/weave/guides/evaluation/scorers) và viết một function-based scorer cho dự án của bạn.

Sau đó học chương 3 về cách cấu trúc evaluator, rồi mới chuyển sang class-based judge.

Về mặt nghề nghiệp, khi đọc tin tuyển dụng FDE, hãy chú ý các cụm như "evals" hay "LLM-as-a-judge". Trên CV, đừng ghi chung chung "có kinh nghiệm đánh giá LLM". Hãy mô tả pipeline bạn đã dựng: bao nhiêu scorer bằng code, judge chấm những tiêu chí nào, và bạn đã kiểm tra judge với nhãn của người thật ra sao.

Khoá học dạy bạn dựng một judge. Ở site khách hàng, phần việc khó hơn là chứng minh judge đó chấm đúng, và đó là lúc bạn bắt đầu làm việc như một FDE.

**Thử ngay tuần này:**

- Viết một function-based scorer bằng @weave.op cho một quy tắc định dạng mà ứng dụng LLM của bạn hay vi phạm
- Chọn một tiêu chí chủ quan khách hàng hay phàn nàn, viết prompt judge cho riêng tiêu chí đó dưới dạng class-based Scorer, thử ít nhất hai phiên bản prompt
- Nhờ một chuyên viên nghiệp vụ gán nhãn một mẫu nhỏ đầu ra, rồi so với điểm của judge trước khi dùng judge để báo cáo

## Nguồn

- [Announcing our newest GenAI course: LLM Apps: Evaluation (W&B report, redirected from wandb.ai to forge.coreweave.com)](https://forge.coreweave.com/wandb/agatamlyn/report/reports/Announcing-our-newest-GenAI-course-LLM-Apps-Evaluation--VmlldzoxMDg2MTkyMQ)

- [Weights & Biases for Evaluations](https://wandb.ai/site/solutions/evaluations/)

- [Scoring overview (Weave docs)](https://docs.coreweave.com/weave/guides/evaluation/scorers)
