How to Measure Anything: cuốn sách giúp FDE đo cả thứ khách hàng nói là “vô hình”

Thử hình dung buổi họp thứ ba ở phía khách hàng. Bạn vừa deploy một agent hỗ trợ đội chăm sóc khách hàng, và giám đốc vận hành nói: “Ai cũng thấy nó có ích, nhưng cái đó thì không đo được đâu.” Nếu bạn gật đầu cho qua, việc gia hạn hay cắt dự án sẽ phụ thuộc vào cảm giác của một người.

Douglas W. Hubbard viết hẳn một cuốn sách để bác bỏ câu nói đó. How to Measure Anything: Finding the Value of Intangibles in Business ra bản đầu tiên ngày 3/8/2007. Bản thứ 3 do Wiley phát hành dạng bìa cứng vào tháng 3/2014, dày 432 trang, và theo Hubbard Research, công ty của tác giả, cả ba bản đã bán được hơn 100.000 cuốn.

Với FDE, đây không phải một cuốn sách thống kê đọc cho biết. Nó rèn kỹ năng cần nhất ở chặng khó nhất của một engagement: chứng minh giá trị bằng con số, khi chính khách hàng cho rằng thứ họ quan tâm, như sự hài lòng của khách hàng, rủi ro công nghệ hay ROI công nghệ, là “vô hình”.

“Không đo được” thường là do hiểu sai chữ “đo”

Wiley tóm tắt luận điểm của sách như sau: cảm giác “không đo được” bắt nguồn từ vài hiểu lầm phổ biến về đo lường. Đối chiếu với định nghĩa của Hubbard, một hiểu lầm phổ biến là nghĩ rằng đo thì phải ra một con số chính xác.

Hubbard định nghĩa khác: đo lường là việc giảm bớt bất định, thể hiện bằng con số và dựa trên một hay nhiều quan sát.

Định nghĩa này làm thay đổi cả cuộc họp. Bạn không cần biết agent tiết kiệm đúng bao nhiêu phút, chỉ cần biết nhiều hơn hôm qua. Công cụ để đi từ một mục tiêu “vô hình” đến thứ đo được là chuỗi làm rõ (clarification chain).

Nếu một thứ thật sự quan trọng thì nó phải phát hiện hoặc quan sát được. Nếu phát hiện được dưới dạng một khoảng giá trị khả dĩ thì nó đo được.

Áp vào buổi họp trên, hãy hỏi giám đốc vận hành: “Nếu agent thật sự giúp được, anh sẽ thấy điều gì khác đi?” Câu trả lời thường rất cụ thể: nhân viên đỡ mất thời gian cho mỗi ticket, ít ticket phải chuyển lên tuyến hai hơn, nhân viên mới tự xử lý được sớm hơn. Mỗi câu là một thứ quan sát được, tức là đo được.

Ước lượng tốt là một kỹ năng phải luyện

Có danh sách dấu hiệu rồi, bước tiếp theo là ghi cho mỗi dấu hiệu một khoảng ước lượng trung thực. Người chưa được luyện thường quá tự tin: khoảng tin cậy 90% mà họ đưa ra chỉ chứa giá trị thật khoảng 50% số lần. May là, theo cuốn sách, đánh giá bất định (calibration) là kỹ năng dạy được, và mức tiến bộ đo được.

Kỹ năng này dùng được ngay khi bạn đi phỏng vấn. Bị hỏi “dự án này đem lại bao nhiêu giá trị?” trong một vòng phỏng vấn FDE, một khoảng 90% kèm cách bạn sẽ thu hẹp nó thuyết phục hơn hẳn một con số đoán bừa.

Trong CV, thay vì viết “cải thiện hiệu suất”, hãy ghi rõ bạn đã đo gì, bằng bao nhiêu mẫu và kết quả đó dẫn đến quyết định nào.

Đo cái khách chưa từng đo

Khoảng ước lượng cho bạn biết mình mù mờ ở đâu, nhưng chưa cho biết nên đo gì trước. Đó là việc của giá trị thông tin. Trong một business case, phần lớn các biến có giá trị thông tin gần bằng 0; theo Hubbard, một phép đo chỉ đáng giá khi bất định lớn đi kèm cái giá của việc đoán sai cao.

Khi phân tích các business case IT, Hubbard còn gặp một nghịch lý mà ông gọi là measurement inversion. Những biến có giá trị thông tin cao thường là những biến khách hàng chưa bao giờ đo.

Robin Hanson, trích lại trên blog Overcoming Bias, nhấn mạnh vế còn lại: biến được tốn nhiều thời gian đo nhất lại thường có giá trị thông tin rất thấp, thậm chí bằng không.

Quay lại ví dụ agent hỗ trợ, thử chấm ba biến giả định theo hai tiêu chí của Hubbard:

Biến	Bất định	Cái giá nếu đoán sai
Số ticket mỗi ngày	Thấp, helpdesk đã đếm sẵn	Thấp, không quyết định gia hạn
Điểm hài lòng sau ticket	Vừa, đã có khảo sát	Thấp, ít thay đổi giữa các tháng
Số phút tiết kiệm mỗi ticket	Cao, chưa ai đo	Cao, gia hạn dựa vào nó

Hai biến đầu là thứ khách đang theo dõi kỹ nhất, nhưng biết chính xác hơn về chúng cũng không đổi quyết định nào. Biến thứ ba vừa mù mờ vừa đắt khi sai, nên đo nó trước.

Vì vậy, đừng nhận ngay bộ KPI mà khách đưa. Trước khi dựng dashboard, hãy lập một bảng như trên cho các biến quyết định chuyện gia hạn.

Năm mẫu là đủ để bắt đầu

Đã chọn được biến, bạn vẫn không cần một hệ thống đo lớn. Theo Quy tắc số 5 (Rule of Five), rút ngẫu nhiên 5 mẫu từ một quần thể thì có 93,75% khả năng trung vị của quần thể nằm giữa giá trị nhỏ nhất và giá trị lớn nhất trong 5 mẫu đó.

Lý do khá đơn giản: xác suất để cả 5 mẫu cùng rơi về một phía của trung vị chỉ là 1/16.

Thử với vài con số giả định. Bạn rút ngẫu nhiên 5 ticket do agent hỗ trợ, đo xem mỗi ticket tiết kiệm được bao lâu, và nhận được 6, 9, 11, 14 và 22 phút. Không cần dashboard hay pipeline dữ liệu, bạn đã có cơ sở khá chắc để nói rằng số phút tiết kiệm trung vị nằm trong khoảng 6 đến 22.

Một lưu ý: quy tắc này chỉ bảo đảm về cách lấy mẫu, không sửa được sai lệch trong từng con số. Nếu bạn hỏi nhân viên tự ước số phút tiết kiệm, câu trả lời dễ bị lệch theo cảm nhận của họ về công cụ.

Khi có thể, hãy bấm giờ trực tiếp vài ticket có và không có agent, hoặc lấy thời điểm mở và đóng ticket từ helpdesk.

Khoảng thu được vẫn rộng, nhưng nếu trước đó cả phòng không ai dám đưa ra con số nào thì bất định đã giảm đi rõ rệt. Bài học cho FDE là lần đo đầu tiên nên rẻ và nhanh, xong trong một buổi chiều, trước khi đề xuất một hệ thống instrumentation tốn cả sprint.

Ai nên đọc, và đọc theo thứ tự nào

Cuốn sách hợp nhất với FDE đang phải chứng minh ROI cho khách, và với kỹ sư phần mềm muốn chuyển sang vai trò này. Nếu bạn đang chuẩn bị chuyển việc, hãy lấy một dự án cũ của mình và làm lại toàn bộ bốn bước trên làm bài viết cho portfolio.

Thứ tự gợi ý dưới đây đi theo mạch của bài này, không phải trình tự các chương trong sách. Nắm định nghĩa đo lường và chuỗi làm rõ trước, vì chúng đổi ngay cách bạn nói chuyện với khách. Sau đó luyện calibration, rồi dùng giá trị thông tin để chọn biến, cuối cùng là Quy tắc số 5 để đo nhanh.

Lần tới khách hàng nói “cái đó không đo được”, đừng tranh cãi. Hãy hỏi: “Nếu nó tốt lên, anh sẽ thấy gì?”, rồi đi lấy năm mẫu.