Dữ liệu FDE TimesViệc làm FDE đang mở 924▲33 Thay đổi số việc đang mở trong 7 ngày, so sánh cùng phạm vi: không tính việc của các công ty mới được theo dõi tuần nàyMới trong 7 ngày 80Công ty đang tuyển 196Nhận làm từ xa 25%Lương trung vị (Mỹ) $200kTuyển nhiều nhất Databricks 107
中文EN

Tờ báo của nghề Forward Deployed Engineer

Tin tức

Bộ eval cho FDE chấm sáu memo hợp đồng mà không cần API key

Repo đi kèm sách Forward Deployed AI Engineering chỉ cách đo xem một pilot AI đã đủ tốt để lên production chưa.

Chia sẻLinkedInFacebookX

Tóm tắt nhanh

  • Repo ghanemzadeh/ai-fde đi kèm sách Forward Deployed AI Engineering, gồm template, prompt, eval harness và hình minh họa.
  • Harness viết bằng Python, có 36 test, chạy offline; bản chạy thử chấm sáu memo hợp đồng bịa và chỉ ra bản trượt.
  • Code harness theo giấy phép MIT; template, prompt và hình có bản quyền, được chỉnh sửa nhưng không được đăng lại thành bộ.
Bốn tầng xếp chồng của eval harness: ở dưới cùng là kiểm tra tất định, bắt lỗi thiếu mục và sai định dạng; tiếp theo là model judge, xem lập luận có bám điều khoản không; tầng hiệu chỉnh với người chấm được tô màu cam vì nó kiểm tra xem judge có lệch không; trên cùng là dashboard.
Harness trong repo ghanemzadeh/ai-fde xếp bốn thành phần thành các tầng lọc chồng lên nhau. Model judge cũng là một model, nên phải so điểm của nó với người chấm trước khi tin vào dashboard. Nguồn: repo ghanemzadeh/ai-fde, đi kèm sách Forward Deployed AI Engineering.

Sáu bản memo rà soát hợp đồng, tất cả đều bịa, được chấm theo một rubric. Cuối lượt chạy, công cụ báo bản nào trượt và trượt vì sao. Đó là bản chạy thử trong ghanemzadeh/ai-fde, repository đi kèm cuốn Forward Deployed AI Engineering, và bạn chạy được nó mà không cần API key.

Repo gồm template, prompt, một eval harness, hình minh họa và tài liệu tham khảo cho cuốn sách năm phần, hai mươi chương, với mười hai template. Thông điệp của README rất thẳng: mọi thứ ở đây sinh ra để được sao chép và chỉnh sửa.

Với FDE, phần đáng mở ra trước tiên là harness. Gyde mô tả vai trò này xoay quanh khoảng cách giữa AI pilot và AI chạy trong production. HatchWorks thì cho rằng FDE sở hữu cả vòng lặp, từ câu hỏi “nên xây gì” đến lúc hệ thống đã chạy và có người dùng thật.

Ở giữa vòng lặp đó luôn có một câu hỏi khách hàng sẽ đặt ra: làm sao biết đầu ra đủ tốt? Một pilot không trả lời được câu này bằng con số thường dừng lại ở pilot.

Bốn thành phần, mỗi thành phần bắt một kiểu lỗi

Harness là một dự án Python có 36 test, gồm kiểm tra tất định, một model làm giám khảo, bước hiệu chỉnh điểm của giám khảo với người chấm, và một dashboard. Cách dễ hiểu nhất là đọc chúng như những tầng lọc chồng lên nhau.

Kiểm tra tất định rẻ và chắc chắn: memo có thiếu mục bắt buộc không, có đúng định dạng không. Model judge xử lý những gì regex không bắt được, như lập luận có bám vào điều khoản hay không.

Thành phần dễ bị bỏ qua nhất lại là hiệu chỉnh. Model judge cũng là một model, nó có thể dễ dãi hoặc lệch theo cách bạn không lường trước.

Giả sử luật sư phía khách hàng chấm lại cả sáu memo và chỉ đồng ý với judge ở bốn bản. Hai bản lệch đó cho bạn biết rubric hoặc prompt của judge cần sửa ở đâu, trước khi ai đó trình dashboard lên ban giám đốc.

Vì harness chạy offline, bạn đọc được toàn bộ luồng chấm mà không tốn đồng nào cho API. Đó là cách học eval tốt hơn đọc slide: chạy, xem memo nào trượt, rồi lần ngược về đoạn code đánh trượt nó.

Dùng lại đến đâu thì an toàn?

Giấy phép chia làm hai phần. Code harness theo MIT, bạn mang vào dự án khách hàng được. Template, prompt và hình minh họa có bản quyền: được chỉnh sửa cho công việc của bạn, nhưng không được đăng lại thành một bộ sưu tập. Nếu định đưa lên portfolio, hãy đăng harness đã được bạn biến đổi, đừng đăng lại bộ template.

Bộ template đáng đọc cùng code, vì công việc của FDE không dừng ở phần kỹ thuật. HatchWorks gọi FDE là một phần tư vấn, một phần product manager, một phần kỹ sư cấp cao, và là người duy nhất chịu trách nhiệm.

Nếu đang muốn chuyển sang FDE, bạn có sẵn một bài tập rõ ràng. Fork harness, thay sáu memo hợp đồng bằng đầu ra từ một domain bạn hiểu, viết kiểm tra tất định riêng, tự chấm tay một mẫu nhỏ để hiệu chỉnh judge.

Trên CV, một dòng như “xây eval harness có hiệu chỉnh judge với người chấm, chỉ ra tỷ lệ đồng thuận” nói nhiều hơn mọi chữ “có kinh nghiệm LLM”. Khi đọc tin tuyển dụng, hãy để ý những công ty nhắc tới eval hay đo chất lượng đầu ra: nhiều khả năng đó là nơi kỹ năng này được coi trọng trực tiếp.

Khi khách hàng hỏi làm sao bạn biết hệ thống trả lời đúng, đừng đáp bằng cảm giác. Câu trả lời thuyết phục nhất là một bản chạy liệt kê rõ chỗ nào đang sai.

Bài này có hữu ích không?

Dùng cùng trợ lý AIHỏi Claude ↗Hỏi ChatGPT ↗
3 nguồn