# Bộ eval cho FDE chấm sáu memo hợp đồng mà không cần API key

> Repo đi kèm sách Forward Deployed AI Engineering chỉ cách đo xem một pilot AI đã đủ tốt để lên production chưa.

Bản gốc: https://fdetimes.net/vi/tin-tuc/ghanemzadeh-ai-fde-companion-repository-for-the-book/

Sáu bản memo rà soát hợp đồng, tất cả đều bịa, được chấm theo một rubric. Cuối lượt chạy, công cụ báo bản nào trượt và trượt vì sao. Đó là bản chạy thử trong ghanemzadeh/ai-fde, repository đi kèm cuốn Forward Deployed AI Engineering, và bạn chạy được nó mà không cần API key.

Repo gồm template, prompt, một eval harness, hình minh họa và tài liệu tham khảo cho cuốn sách năm phần, hai mươi chương, với mười hai template. Thông điệp của README rất thẳng: mọi thứ ở đây sinh ra để được sao chép và chỉnh sửa.

Với FDE, phần đáng mở ra trước tiên là harness. Gyde mô tả vai trò này xoay quanh khoảng cách giữa AI pilot và AI chạy trong production. HatchWorks thì cho rằng FDE sở hữu cả vòng lặp, từ câu hỏi "nên xây gì" đến lúc hệ thống đã chạy và có người dùng thật.

Ở giữa vòng lặp đó luôn có một câu hỏi khách hàng sẽ đặt ra: làm sao biết đầu ra đủ tốt? Một pilot không trả lời được câu này bằng con số thường dừng lại ở pilot.

## Bốn thành phần, mỗi thành phần bắt một kiểu lỗi

Harness là một dự án Python có 36 test, gồm kiểm tra tất định, một model làm giám khảo, bước hiệu chỉnh điểm của giám khảo với người chấm, và một dashboard. Cách dễ hiểu nhất là đọc chúng như những tầng lọc chồng lên nhau.

Kiểm tra tất định rẻ và chắc chắn: memo có thiếu mục bắt buộc không, có đúng định dạng không. Model judge xử lý những gì regex không bắt được, như lập luận có bám vào điều khoản hay không.

Thành phần dễ bị bỏ qua nhất lại là hiệu chỉnh. Model judge cũng là một model, nó có thể dễ dãi hoặc lệch theo cách bạn không lường trước.

Giả sử luật sư phía khách hàng chấm lại cả sáu memo và chỉ đồng ý với judge ở bốn bản. Hai bản lệch đó cho bạn biết rubric hoặc prompt của judge cần sửa ở đâu, trước khi ai đó trình dashboard lên ban giám đốc.

**Điểm mấu chốt:** Một model judge chưa từng được so với người chấm thì chưa đáng để tin.

Vì harness chạy offline, bạn đọc được toàn bộ luồng chấm mà không tốn đồng nào cho API. Đó là cách học eval tốt hơn đọc slide: chạy, xem memo nào trượt, rồi lần ngược về đoạn code đánh trượt nó.

## Dùng lại đến đâu thì an toàn?

Giấy phép chia làm hai phần. Code harness theo MIT, bạn mang vào dự án khách hàng được. Template, prompt và hình minh họa có bản quyền: được chỉnh sửa cho công việc của bạn, nhưng không được đăng lại thành một bộ sưu tập. Nếu định đưa lên portfolio, hãy đăng harness đã được bạn biến đổi, đừng đăng lại bộ template.

Bộ template đáng đọc cùng code, vì công việc của FDE không dừng ở phần kỹ thuật. HatchWorks gọi FDE là một phần tư vấn, một phần product manager, một phần kỹ sư cấp cao, và là người duy nhất chịu trách nhiệm.

Nếu đang muốn chuyển sang FDE, bạn có sẵn một bài tập rõ ràng. Fork harness, thay sáu memo hợp đồng bằng đầu ra từ một domain bạn hiểu, viết kiểm tra tất định riêng, tự chấm tay một mẫu nhỏ để hiệu chỉnh judge.

Trên CV, một dòng như "xây eval harness có hiệu chỉnh judge với người chấm, chỉ ra tỷ lệ đồng thuận" nói nhiều hơn mọi chữ "có kinh nghiệm LLM". Khi đọc tin tuyển dụng, hãy để ý những công ty nhắc tới eval hay đo chất lượng đầu ra: nhiều khả năng đó là nơi kỹ năng này được coi trọng trực tiếp.

Khi khách hàng hỏi làm sao bạn biết hệ thống trả lời đúng, đừng đáp bằng cảm giác. Câu trả lời thuyết phục nhất là một bản chạy liệt kê rõ chỗ nào đang sai.

**Thử ngay tuần này:**

- Clone repo, chạy bản dry run và đọc lý do từng memo trượt trước khi đọc code
- Thay sáu memo bằng mười đầu ra từ một domain bạn biết, viết ít nhất hai kiểm tra tất định cho chúng
- Tự chấm tay các đầu ra đó, so với model judge và ghi lại những chỗ hai bên lệch nhau

## Nguồn

- [ghanemzadeh/ai-fde (GitHub)](https://github.com/ghanemzadeh/ai-fde)

- [What is a Forward Deployed Engineer? (HatchWorks)](https://hatchworks.com/blog/fde/forward-deployed-engineer/)

- [What are forward deployed engineers? (Gyde)](https://blog.gyde.ai/what-are-forward-deployed-engineers/)
