# Trong bake-off AI, ai dựng bộ eval thì người đó đặt luật chơi

> Chỉnh prompt trên tài khoản demo có thể thắng nhưng sẽ vỡ khi lên production; bộ eval held-out trên dữ liệu thật cho biết bạn thua ở đâu trước khi ký.

Bản gốc: https://fdetimes.net/vi/bach-khoa/bake-off-nha-cung-cap-ai-fde-thang-poc-canh-tranh/

Email của khách rất ngắn: hai tuần nữa họ sẽ chạy cùng một bộ câu hỏi qua sản phẩm của bạn và sản phẩm của đối thủ, rồi chọn một bên.

Phản xạ đầu tiên của nhiều FDE là mở tài khoản demo và sửa prompt cho đến khi câu nào cũng đẹp. Làm vậy có thể thắng bake-off, nhưng rồi hệ thống sẽ vỡ ngay tháng đầu chạy production.

Có một cách tốt hơn: bạn đề nghị tự dựng bộ đo và giữ cho nó đủ công bằng để chính khách hàng tin vào kết quả. Ai cầm thước thì người đó định nghĩa thế nào là "tốt". Nếu thước thẳng, bạn vừa có lợi thế vừa biết chính xác mình thua ở đâu trước khi ký hợp đồng.

Đây là kỹ năng dùng được ở mọi cuộc thi chọn nhà cung cấp AI, kể cả khi đối thủ là model khác của chính công ty bạn.

## Vì sao thắng trên demo chẳng nói lên gì?

Một bài viết của người làm nghề trên blog tianpan.co chỉ ra khoảng cách cốt lõi: tài khoản demo chứa dữ liệu được chọn lọc và cân đối, còn tài khoản production chứa dữ liệu lộn xộn, thiếu trường, nhiều khi trống trơn.

Chỉnh prompt trên demo tức là tối ưu cho đúng phần dữ liệu mà khách sẽ không bao giờ gặp lại. Bài viết cũng cho rằng FDE thường là người nên sở hữu bộ eval này.

Tài liệu của Anthropic về xây dựng eval đặt nguyên tắc đầu tiên: eval phải phản ánh phân phối tác vụ thật. Hamel Husain, người chuyên viết và dạy về eval, nói thẳng hơn.

Theo ông, các metric chung chung lấy sẵn làm phí thời gian và tạo cảm giác tự tin giả khi bị dùng làm thước đo chất lượng. Khác biệt giữa các model phải được đo trên dữ liệu của chính bạn, ở đây là dữ liệu của khách.

Vì thế, việc đầu tiên khi ngồi với khách không phải là viết prompt. Bạn hỏi xin một mẫu log thật từ hệ thống họ đang chạy, kèm cả những trường hợp khó. Anthropic nhắc rõ đừng quên edge case, kể cả những ca mơ hồ mà người với người cũng không thống nhất được.

## Cây thước cũng có thể cong

Bake-off với vài trăm câu thì không ai chấm tay nổi, và cũng không nên. Anthropic khuyên ưu tiên số lượng: nhiều câu hỏi chấm tự động, tín hiệu hơi yếu hơn, vẫn tốt hơn một nhúm câu chấm tay thật kỹ. Nhưng chấm tự động nghĩa là dùng LLM làm judge, và judge cũng mang những thiên lệch riêng.

Bài báo "Judging LLM-as-a-Judge" của Zheng và cộng sự đã nêu tên ba loại thiên lệch: thiên lệch vị trí là judge chuộng câu trả lời theo thứ tự xuất hiện, thiên lệch độ dài là chuộng câu dài hơn, còn thiên lệch tự đề cao là chuộng output của chính mình.

Hướng dẫn của OpenAI cũng liệt kê hai loại đầu là thách thức đã biết khi chấm theo cặp. Loại thứ ba nguy hiểm nhất trong bake-off: nếu judge là model của một trong hai nhà cung cấp, kết quả đã nghiêng ngay từ đầu. Các ví dụ code của Anthropic ghi rằng thông thường nên chấm bằng một model khác với model đã sinh ra output.

**Điểm mấu chốt:** Thắng bằng một cây thước cong chỉ là thua chậm hơn, vào đúng ngày lên production.

Tin tốt là judge mạnh vẫn dùng được. Cũng theo bài báo đó, judge mạnh đồng thuận với người chấm ở hơn 80% trường hợp, ngang với mức hai người chấm đồng thuận với nhau.

Điều kiện là bạn phải kiểm chứng điều đó trên bài toán của khách chứ không mặc định. Hamel Husain khuyên kiểm tra judge trên các ví dụ do người gán nhãn, đúng loại lỗi mà judge cần phát hiện.

## Thử chạy một bake-off thật

Thử hình dung khách là một công ty logistics muốn AI soạn thảo phản hồi cho email khiếu nại. Bạn lấy 300 email thật từ quý trước. Trong đó có 30 ca khó có chủ đích: email trống nội dung, mã vận đơn sai định dạng, khách viết trộn hai ngôn ngữ, yêu cầu mơ hồ.

Bạn chia bộ này thành 100 email dev và 200 email held-out. Cả hai bên được chỉnh prompt thoải mái trên tập dev. Tập held-out do khách giữ và chỉ chạy một lần vào ngày thi. Các kỹ sư của Lyft, khi trình bày tại AI Engineer World's Fair 2026, dùng đúng cách chia dev và held-out này để phát hiện overfitting.

Giờ đến phần chấm. Mỗi email trong 200 ca held-out được chấm hai lần, một lần câu của A đứng trước, một lần câu của B đứng trước, tổng cộng 400 lượt. Giả sử khi A đứng trước, A thắng 130/200. Khi B đứng trước, A chỉ thắng 95/200. Chênh lệch 35 ca đó chính là thiên lệch vị trí đang hiện ra trước mắt bạn.

Quy tắc chấm đơn giản: một bên chỉ được tính thắng nếu thắng ở cả hai thứ tự, còn lại tính hòa. Giả sử A thắng cả hai lượt ở 85 ca, B thắng cả hai lượt ở 60 ca, 55 ca bị lật thì tính hòa.

Kết quả trung thực là 85 – 60 – 55, chứ không phải "A thắng 65%" như khi bạn chỉ chạy một chiều và đặt A lên trước.

```python
def judge_pair(email, ans_a, ans_b, judge):
    # judge là model thứ ba, không thuộc nhà cung cấp nào đang thi
    first = judge(email, left=ans_a, right=ans_b)   # trả về 'left' hoặc 'right'
    second = judge(email, left=ans_b, right=ans_a)
    a_wins_first = first == "left"
    a_wins_second = second == "right"
    if a_wins_first and a_wins_second:
        return "A"
    if not a_wins_first and not a_wins_second:
        return "B"
    return "hoa"  # kết luận bị lật khi đảo thứ tự
```

Còn hai lớp kiểm tra nữa. Hướng dẫn của OpenAI lưu ý rằng model đôi khi cho output khác nhau với cùng một input. Vì vậy, bạn chạy mỗi hệ thống ba lần trên mỗi email và báo cáo cả độ dao động, không chỉ lấy lần đẹp nhất.

OpenAI cũng khuyên kiểm soát độ dài. Hãy so độ dài trung bình câu trả lời của bên thắng; nếu bên đó dài hơn hẳn, viết lại rubric để judge chấm theo nội dung đúng, không theo độ đầy đặn.

Cuối cùng là hiệu chỉnh judge. Bạn nhờ đội chăm sóc khách hàng của công ty logistics gán nhãn 50 cặp, rồi so với phán quyết của judge. OpenAI gọi bước này là dùng phản hồi của người để hiệu chỉnh chấm tự động. Các kỹ sư Lyft cảnh báo rằng sự đồng thuận với một judge chưa được kiểm chứng không chứng minh được agent đang chạy đúng.

## Các bước làm ở khách

Bắt đầu bằng một trang luật chơi gửi cho khách trước khi ai viết dòng prompt nào. Trang này ghi rõ nguồn dữ liệu, tỷ lệ edge case, cách chia dev và held-out, model judge và lý do chọn nó, quy tắc tính hòa, số lần chạy lặp.

Mời cả đối thủ đọc nếu khách đồng ý. Một bộ luật bạn dám công khai cho đối thủ là bộ luật khách sẽ tin.

Tiếp theo là gom dữ liệu thật và cố ý trộn ca khó vào. Sau đó viết rubric cùng người làm nghiệp vụ của khách, hiệu chỉnh judge trên nhãn của họ, và chỉ khi judge đã đạt mức đồng thuận chấp nhận được mới chạy held-out. Báo cáo cuối cùng nên có ba con số thắng, thua, hòa, kèm vài ca thua cụ thể của chính bạn.

Chi tiết cuối hay bị bỏ qua nhất. Chủ động chỉ ra chỗ mình thua là cách nhanh nhất để khách tin những chỗ mình thắng, và cũng là danh sách việc cho tuần đầu deployment.

## Những lỗi khiến bake-off mất giá trị

Lỗi phổ biến nhất là lén nhìn tập held-out. Chỉ cần sửa prompt sau khi thấy vài câu trong held-out, tập đó đã thành tập dev và bạn mất bằng chứng duy nhất cho thấy mình không chỉnh riêng cho bài thi. Lỗi thứ hai là dùng model cùng nhà với một bên thi làm judge chỉ vì nó tiện và rẻ.

Lỗi thứ ba là chỉ chạy một chiều và một lần, rồi báo cáo tỷ lệ thắng đến một chữ số thập phân. Con số trông chính xác nhưng có thể lật ngược chỉ vì đổi thứ tự. Lỗi thứ tư là dùng benchmark công khai thay cho dữ liệu khách, đúng loại tự tin giả mà Hamel Husain cảnh báo.

Kỹ năng này cũng là thứ nên đưa vào hồ sơ xin việc. Trong CV, một dòng như "dựng bộ eval cho bake-off gồm 300 ca từ log production, judge đã hiệu chỉnh với nhãn người, kết quả được khách dùng để ra quyết định" có sức nặng hơn nhiều so với "có kinh nghiệm về LLM".

Khi phỏng vấn, hãy sẵn sàng giải thích vì sao bạn tính hòa khi kết luận bị lật.

Bake-off nào cũng kết thúc bằng một quyết định mua. Nhưng bộ eval bạn để lại sẽ được dùng tiếp lâu sau đó, và nó sẽ là thứ bảo vệ bạn mỗi lần model được nâng cấp.

**Thử ngay tuần này:**

- Lấy 50 cặp câu trả lời bất kỳ từ dự án của bạn, cho judge chấm hai lần với thứ tự đảo, rồi đếm số cặp mà kết luận bị lật
- Viết một trang 'luật bake-off' gồm nguồn dữ liệu, cách tách dev/held-out, model judge và cách tính hòa, rồi gửi cho một đồng nghiệp đóng vai khách để phản biện

## Nguồn

- [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)

- [Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices)

- [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://arxiv.org/abs/2306.05685)

- [AI Evals: Everything You Need to Know](https://hamel.dev/blog/posts/evals-faq/)

- [Build Evals That Actually Matter](https://www.ai.engineer/talks/3z2uT5aDx_Y-build-evals-that-actually-matter)

- [The Demo Account Eval Set Your Sales Team Is Running Without You](https://tianpan.co/blog/2026/05/14/demo-account-eval-set-sales-team-blind-spot)
