# FDE ở CoreWeave: agent mẫu là để dạy, chứ không phải để trình diễn

> Muốn workshop có tác dụng thì cần một agent cố ý còn chỗ hỏng, một bộ task có tiêu chí rõ ràng và một lần so v1 với v2 ngay trong phòng họp.

Bản gốc: https://fdetimes.net/vi/bach-khoa/fde-o-coreweave-w-and-b-weave-reference-implementation/

Bạn đến văn phòng khách vào sáng thứ Hai. Đội AI của họ có một agent chạy ngon trong notebook nhưng trả lời sai khi gặp người dùng thật, và không ai biết nó sai ở bước nào. Họ không cần thêm một bản demo bóng bẩy. Họ cần một cách nhìn vào bên trong agent và đo được nó.

Đó đúng là phần việc mà CoreWeave mô tả cho vị trí Forward Deployed Engineer, AI Agents. Người làm vai trò này ngồi cùng đội AI engineering của khách để thiết kế, prototype và đưa agent lên production bằng W&B Weave. Ngoài ra, workshop, deep dive và enablement session được ghi thẳng vào mô tả công việc, với mục tiêu giúp khách dùng sản phẩm nhanh hơn.

Hai việc đó thực chất là một kỹ năng. Agent mẫu bạn dựng chính là giáo cụ cho buổi workshop, còn buổi workshop là nơi agent đó được kiểm chứng. Bài này hướng dẫn cách làm cả hai sao cho khi bạn rời đi, đội khách vẫn tự làm tiếp được.

## Vì sao agent mẫu không nên hoàn hảo?

Weave về với CoreWeave sau khi công ty này hoàn tất thương vụ mua Weights & Biases. Tài liệu của CoreWeave mô tả Weave là nền tảng observability và evaluation, giúp theo dõi, đánh giá và cải thiện agent cũng như ứng dụng LLM. Hai việc quan trọng ở đây là theo dõi và đánh giá. Agent mẫu phải phục vụ cả hai, chứ không chỉ để chạy cho đẹp.

Trong mô hình tracing của Weave, mỗi lần chạy agent là một conversation. Conversation gồm nhiều turn, và mỗi turn chứa lời gọi model cùng các tool call. Với người dạy, cấu trúc này rất có ích: nó cho bạn chỉ vào đúng turn và đúng tool call nơi agent đi sai, thay vì nói chung chung rằng "model bị ảo giác".

Vì thế, một agent mẫu tốt nên có chủ ý chứa một hai lỗi điển hình mà đội khách sẽ gặp ngoài đời. Nếu agent chạy đúng mọi task ngay từ đầu, trace sẽ không có gì để đọc và eval không có gì để cải thiện, nên buổi workshop chỉ còn là một màn trình diễn.

**Điểm mấu chốt:** Agent mẫu tốt nhất là agent mà đội khách tự sửa được trước khi bạn rời đi.

## Một ví dụ đi trọn từ đầu đến cuối

Thử hình dung khách là một công ty logistics. Đội AI của họ muốn có agent đọc email khiếu nại, tra cứu đơn hàng rồi soạn thư trả lời. Agent mẫu của bạn chỉ cần hai tool: `lookup_order(order_id)` để tra đơn và `draft_reply(order, issue)` để soạn thư. Bạn cố ý để prompt mơ hồ về cách lấy mã đơn khi email có nhiều con số.

Tiếp theo là bộ task. Tutorial agent-evals của Weave dùng một judge model để chấm mức độ agent hoàn thành task, dựa trên tiêu chí thành công của từng task. Bạn viết 12 task bằng email thật đã được khách ẩn danh. Mỗi task có một câu tiêu chí, ví dụ: "Thư trả lời nêu đúng mã đơn và ngày giao dự kiến, không hứa hoàn tiền."

Chỉ dùng LLM judge thì chưa đủ. Weave chấm bằng LLM judge kết hợp với custom scorer, và trang agents của W&B nói rõ scorer có thể là loại dựng sẵn, của bên thứ ba hoặc tự viết.

Bạn thêm một scorer viết tay rất đơn giản: so `order_id` trong tool call với đáp án đúng. Judge chấm chất lượng thư, còn scorer kiểm tra phần dữ kiện mà không cần phán đoán.

Giả sử v1 chạy xong và scorer `order_id` chỉ đúng 7 trên 12 task. Trong workshop, bạn mở trace của một task hỏng và đi lần từng turn.

Model đọc email, gọi `lookup_order` với số điện thoại thay vì mã đơn, nhận về lỗi, rồi vẫn soạn một thư trả lời nghe rất tự tin. Cả phòng nhìn thấy lỗi nằm ở tool call thứ nhất, không phải ở bước viết thư.

Bây giờ bạn trao bàn phím cho đội khách. Họ sửa prompt và thêm một bước kiểm tra định dạng mã đơn, tạo ra v2. Weave cho phép chạy lại đúng bộ task đó với phiên bản mới và xem v2 tiến hay lùi so với v1 trên những điểm số đã log. Giả sử scorer lên 11 trên 12, nhưng judge lại chấm một task thấp hơn trước.

Task bị lùi điểm đó là bài học đắt giá nhất của buổi. Đội khách tự thấy rằng sửa một chỗ có thể làm hỏng chỗ khác. Họ cũng hiểu vì sao phải chạy lại toàn bộ bộ task sau mỗi thay đổi, thay vì chỉ thử lại đúng cái email vừa gây lỗi.

## Workshop nên được chia thế nào?

Một buổi 3 tiếng có thể chia như bảng dưới. Nguyên tắc chung là thời gian đội khách cầm bàn phím phải tăng dần qua từng khối.

| Khối | Thời lượng | Đội khách làm gì | Mang về được gì |
|---|---|---|---|
| Đọc trace | 40 phút | Lần theo conversation, turn, tool call của các task hỏng | Danh sách lỗi theo từng bước |
| Viết task và scorer | 60 phút | Viết thêm task từ dữ liệu của họ, viết một custom scorer | Bộ eval của riêng họ |
| Sửa và so phiên bản | 60 phút | Tạo v2, chạy lại, đọc tiến và lùi | Bảng so v1 với v2 |
| Chốt việc tiếp | 20 phút | Chọn agent thật đầu tiên để áp dụng | Kế hoạch tuần sau |

Khối cuối dễ bị cắt khi buổi học bị trễ giờ. Đừng để mất nó. Nếu không có tên một agent thật và một người phụ trách, mọi thứ học được trong ba khối trước sẽ nằm yên trong một notebook không ai mở lại.

## Những lỗi hay gặp

Lỗi phổ biến nhất là dựng agent mẫu bằng dữ liệu và stack của mình thay vì của khách. CoreWeave cam kết giữ khả năng tương tác của nền tảng W&B, và với FDE, cam kết đó nghĩa là bạn phải gắn Weave vào framework và model mà khách đang dùng. Đừng bắt họ đổi sang những thứ bạn quen tay.

Lỗi thứ hai là để LLM judge quyết định mọi thứ. Judge hữu ích khi chấm câu chữ, nhưng những dữ kiện kiểm tra được bằng code như mã đơn, số tiền hay ngày tháng nên có scorer viết tay. Nếu không, đội khách sẽ tranh luận về điểm của judge thay vì sửa lỗi.

Lỗi thứ ba là coi workshop như việc truyền tải một chiều. Mô tả công việc yêu cầu FDE thu thập phản hồi từ thực địa và chuyển về để tác động đến roadmap của Weave. Mỗi lần đội khách lúng túng ở một màn hình hay phải viết đi viết lại cùng một scorer, hãy ghi lại ngay trong ngày, vì đó là dữ liệu cho đội sản phẩm.

## Biến kỹ năng này thành lợi thế khi xin việc

Bản mô tả trên inferencejobs.com yêu cầu Python, các framework ML/AI hiện đại và từ 5 năm kinh nghiệm software engineering hoặc viết code thực tế trở lên. Đó là điều kiện cần. Nhưng vì workshop và enablement nằm ngay trong mô tả công việc, bằng chứng rằng bạn biết dạy người khác dựng và đo agent mới là thứ nên làm nổi bật.

Vì vậy, hãy đưa vào portfolio một repo agent mẫu có đủ ba thứ: bộ task kèm tiêu chí, ít nhất một custom scorer và một bảng so v1 với v2 trong đó có cả task bị lùi điểm.

Kèm theo đó là agenda workshop bạn đã từng dạy thật, dù chỉ cho đồng nghiệp. Trong CV, hãy viết theo kết quả, ví dụ "đội X tự chạy eval sau buổi enablement", thay vì "có kinh nghiệm với LLM".

Khi luyện phỏng vấn, đừng chỉ chuẩn bị phần kể về kiến trúc agent. Hãy chuẩn bị thêm một câu chuyện enablement, và câu chuyện đáng kể nhất là lần một đội khác tự tìm ra task bị lùi điểm mà không cần bạn chỉ.

**Thử ngay tuần này:**

- Viết 10 task cho một agent bạn đang làm. Mỗi task kèm một câu tiêu chí thành công mà người ngoài đọc cũng chấm được.
- Chạy bộ task đó với hai phiên bản prompt, rồi ghi lại task nào tiến, task nào lùi và vì sao.
- Soạn agenda workshop 3 tiếng theo bảng trong bài, sau đó thử dạy một đồng nghiệp chưa từng thấy code của bạn.

## Nguồn

- [Forward Deployed Engineer, AI Agents (CoreWeave) – inferencejobs.com](https://inferencejobs.com/companies/coreweave/jobs/forward-deployed-engineer-ai-agents)

- [W&B Weave](https://docs.coreweave.com/weave)

- [Evaluate your AI agent with Weave](https://docs.coreweave.com/weave/agent-evals)

- [W&B Weave for AI Agent evaluation](https://wandb.ai/site/agents)

- [CoreWeave Completes Acquisition of Weights & Biases](https://coreweave.com/blog/coreweave-completes-acquisition-of-weights-biases)