# Không đo "trước", bạn sẽ không bao giờ chứng minh được "sau"

> Năm ngày bấm giờ quy trình làm tay sẽ cho bạn con số để bảo vệ dự án khi khách hỏi về ROI.

Bản gốc: https://fdetimes.net/vi/bach-khoa/chup-baseline-quy-trinh-thu-cong-truoc-khi-lam-pilot-ai/

Thử hình dung tuần thứ sáu của một pilot. Người bảo trợ phía khách hỏi một câu rất bình thường: công cụ này tiết kiệm cho đội bao nhiêu thời gian? Bạn biết nó nhanh hơn, cả đội cũng thấy thế. Nhưng nhanh hơn so với cái gì thì bạn không có con số.

Đây là kịch bản rất thường gặp. HatchWorks, trong hướng dẫn đo ROI của forward deployed engineer, viết rằng lý do phổ biến nhất khiến lập luận ROI của AI không đi tới đâu là chẳng ai đo trạng thái "trước". Mô hình vẫn tốt, code vẫn chạy. Chỉ là không ai chứng minh được điều đó.

Với FDE, khoảng trống này lấp được bằng một việc làm trong tuần đầu, trước khi bạn viết dòng code nào: bấm giờ quy trình thủ công mà khách đang làm. Phần dưới đây hướng dẫn cách làm, có ví dụ cụ thể, và chỉ ra những lỗi khiến một baseline trở nên vô dụng.

## Baseline là một bức ảnh, không chỉ là một con số

Quy tắc đầu tiên HatchWorks đưa ra là chốt baseline trước khi engagement bắt đầu. Unframe, khi bàn về ROI của pilot AI, cũng khuyên lập baseline trước khi triển khai pilot, đồng thời định nghĩa chỉ số ROI và nhịp báo cáo ngay từ trước ngày đầu tiên.

Lý do khá đơn giản: khi công cụ mới đã chạy, quy trình cũ biến mất và bạn không quay lại đo nó được nữa.

Còn đo cái gì, HatchWorks khuyên chọn chỉ số workflow mà bản build đầu tiên nhắm tới, và chọn một, không chọn mười. Sau đó ghi lại chỉ số ấy đúng như nó đang diễn ra, kể cả độ dao động, để biết thế nào là "bình thường".

Độ dao động là thứ hay bị bỏ qua nhất. Nếu quy trình cũ có tuần nhanh tuần chậm, một tuần tốt sau khi triển khai chưa chứng minh được gì. Thiếu dữ liệu về độ dao động thì bạn không phân biệt được cải thiện thật với một tuần may mắn.

## Vì sao người đo phải là FDE?

Bài viết "What is a Forward Deployed Engineer, Anyway?" mô tả FDE là người sẵn lòng, thậm chí đòi hỏi, dành nhiều thời gian ngồi cùng khách hàng, hợp tác sát để thấm sâu vào bài toán. Chính vị trí đó biến bạn thành người đo phù hợp nhất. Quản lý phía khách thường chỉ nhớ con số ước lượng, còn người làm thì quá bận để tự ghi chép.

Còn một lợi ích nữa. Rocketlane kể về OSV, một đội đã áp dụng framework chấm điểm sức khỏe dự án bằng tay trong năm tuần trước khi viết dòng code đầu tiên, theo nguyên tắc chứng minh framework bằng tay rồi mới tự động hóa.

Theo Rocketlane, chính giai đoạn làm tay ấy giúp bản tự động hóa đáng tin. Tuần baseline của bạn cũng có tác dụng như vậy: vừa đo vừa học quy trình từ bên trong.

**Điểm mấu chốt:** Khi công cụ mới đã chạy, quy trình cũ biến mất, và bạn không còn đo nó được nữa.

## Ví dụ: một tuần với email khiếu nại

Thử hình dung một công ty giao hàng có bốn nhân viên xử lý email khiếu nại. Bản build đầu tiên là một agent đọc email, phân loại rồi điền sẵn phiếu.

Chỉ số duy nhất bạn chốt với người bảo trợ: số phút từ lúc nhân viên mở email đến lúc phiếu khiếu nại được lưu vào hệ thống. Định nghĩa phải chính xác đến mức ấy, vì "thời gian xử lý" chung chung thì mỗi người sẽ hiểu một kiểu.

Hai ngày đầu, bạn ngồi cạnh từng người và tự bấm giờ. Ba ngày sau, nhân viên tự ghi vào một bảng tính đơn giản, còn bạn kiểm tra ngẫu nhiên vài dòng. Một đoạn nhật ký trông như sau:

| Mã | Loại | Bắt đầu | Xong | Phút | Bị chặn bởi |
|---|---|---|---|---|---|
| K-07 | Hàng vỡ, có ảnh | 09:12 | 09:19 | 7 | — |
| K-08 | Thất lạc | 09:20 | 10:04 | 44 | Chờ kho xác nhận |
| K-09 | Sai địa chỉ | 09:31 | 09:42 | 11 | — |
| K-10 | Hàng vỡ, thiếu ảnh | 10:05 | 10:31 | 26 | Email hỏi lại khách |
| K-11 | Thất lạc | 10:40 | 11:38 | 58 | Chờ kho xác nhận |

Giả sử cuối tuần bạn có 40 dòng, với trung bình 19 phút, median 14 phút và p90 là 38 phút. Mức trung bình bị kéo lên bởi một cái đuôi dài, gần như toàn là ca "thất lạc" phải chờ kho trả lời. Nếu chỉ báo cáo con số 19, bạn đã giấu mất phát hiện quan trọng nhất của cả tuần.

Giờ hãy đọc dữ liệu theo cách sẽ dùng lúc báo cáo kết quả. Nếu agent chỉ làm nhanh các ca dễ, median có thể giảm mạnh trong khi p90 vẫn đứng yên ở 38, vì nút thắt nằm ở kho chứ không nằm ở khâu đọc email.

Biết điều này từ tuần đầu, bạn hứa với khách đúng phần mình cải thiện được, và có sẵn bằng chứng nếu muốn mở rộng phạm vi sang khâu liên lạc với kho.

Chia theo ngày cũng cho bạn thêm một bài học. Giả sử median của thứ Hai cao hơn hẳn các ngày khác vì email dồn từ cuối tuần. Nếu sau này bạn chỉ đo vào giữa tuần, bạn sẽ thổi phồng hiệu quả mà không hề cố ý.

## Làm baseline trong năm ngày

Ngày đầu tiên, ngồi với người bảo trợ để chốt một chỉ số, kèm điểm bắt đầu, điểm kết thúc và nơi ghi dữ liệu. Ngày thứ hai, tự bấm giờ khi ngồi cạnh người làm, ghi cả lý do mỗi lần bị chặn. Từ ngày thứ ba, giao bảng tính cho đội khách tự ghi, còn bạn đối chiếu ngẫu nhiên để giữ dữ liệu sạch.

Cuối tuần, tính median, p90, rồi tách theo loại việc và theo ngày. Viết một trang gửi người bảo trợ, ghi rõ con số, độ dao động, và nhịp báo cáo hai bên đã thống nhất, chẳng hạn mỗi hai tuần một lần.

Nếu điều kiện cho phép, Unframe gợi ý dùng nhóm đối chứng, ví dụ hai nhân viên dùng agent và hai người vẫn làm tay trong cùng thời gian. Có nhóm đối chứng thì không ai bảo được rằng cải thiện đến từ một tuần ít việc.

## Những lỗi khiến baseline vô dụng

Lỗi phổ biến nhất là hỏi thay vì đo. Câu "mỗi email mất khoảng mười lăm phút" chỉ là ký ức của người trả lời, không phải dữ liệu, và thường thiếu hẳn cái đuôi dài. Lỗi thứ hai là theo dõi cả chục chỉ số cùng lúc, rốt cuộc chẳng chỉ số nào đủ dữ liệu để kết luận.

Lỗi thứ ba khó nhận ra hơn: thay đổi quy trình ngay trong lúc đo. Nếu bạn gợi ý cho nhân viên một mẹo nhỏ từ ngày thứ hai, phần dữ liệu còn lại không còn là "trước" nữa. Ghi mọi ý tưởng cải tiến vào sổ và để dành đến tuần sau.

Lỗi cuối là đo khi bản demo đã được dùng thử. Chỉ cần nửa đội đã chạm vào công cụ mới là baseline đã bị lẫn. Đó là lý do HatchWorks và Unframe đều nhấn mạnh chữ "trước khi bắt đầu".

## Một dòng trên CV đáng giá hơn mười tính năng

Baseline còn cho bạn một thứ cụ thể để đưa lên CV. Thay vì "xây agent phân loại email", hãy viết theo dạng: lập baseline 40 ca trong tuần đầu, giảm median thời gian xử lý từ X xuống Y phút.

Khi phỏng vấn FDE, câu chuyện về cách bạn chọn chỉ số và phát hiện cái đuôi dài cho người nghe thấy bạn biết chứng minh giá trị bằng số, chứ không chỉ bằng một bản demo.

Lúc đọc mô tả công việc, nếu gặp những cụm như "measure impact", "outcomes" hay "prove value", hãy coi đó là chỗ nên đưa câu chuyện baseline của mình vào hồ sơ và buổi phỏng vấn.

Câu hỏi ở tuần thứ sáu chắc chắn sẽ đến. Nếu đã đo từ tuần đầu, bạn chỉ cần mở bảng tính ra là có câu trả lời.

**Thử ngay tuần này:**

- Chọn một quy trình thủ công ở khách (hoặc trong team bạn), viết ra một câu định nghĩa chỉ số với điểm bắt đầu và điểm kết thúc
- Ghi nhật ký ít nhất 20 lượt làm thật với giờ bắt đầu, giờ xong, loại việc và lý do bị chặn
- Tính median và p90, rồi viết bản baseline một trang gửi cho người bảo trợ dự án

## Nguồn

- [How to Measure the ROI of a Forward Deployed Engineer](https://hatchworks.com/blog/fde/measure-the-roi/)

- [How to Automate Project Hygiene — Replacing Gut Feel with Real-Time Risk Scoring](https://blog.rocketlane.com/blogs/project-hygiene-automation)

- [How to Measure the ROI of AI Pilot Projects (Unframe AI)](https://www.unframe.ai/blog/how-to-measure-ai-pilot-roi)

- [What is a Forward Deployed Engineer, Anyway?](https://fourthage.substack.com/p/what-is-a-forward-deployed-engineer)
