Dữ liệu FDE TimesViệc làm FDE đang mở 924▲33 Thay đổi số việc đang mở trong 7 ngày, so sánh cùng phạm vi: không tính việc của các công ty mới được theo dõi tuần nàyMới trong 7 ngày 80Công ty đang tuyển 196Nhận làm từ xa 25%Lương trung vị (Mỹ) $200kTuyển nhiều nhất Databricks 107
中文EN

Tờ báo của nghề Forward Deployed Engineer

Bách khoa

Giám sát agent tại khách hàng không có nghĩa là duyệt từng bước

Cách dựng cờ rủi ro và hàng đợi người duyệt để agent chỉ dừng ở đúng chỗ cần đến người.

Chia sẻLinkedInFacebookX

Tóm tắt nhanh

  • Guardrail lo phần kiểm tra tự động, người chỉ duyệt các quyết định mà sai một lần là mất thật
  • Một run bị dừng phải được lưu bền và chạy tiếp từ state cũ, nên hàng đợi duyệt có thể bất đồng bộ
  • Guardrail chỉ bảo vệ những tool được gắn vào, vì vậy phải liệt kê đủ mọi đường agent có thể dùng để thực thi
Bảng xếp năm tool của một agent hoàn tiền giả định vào ba tầng. tra_don_hang và dong_ticket tự chạy; gui_email_khach và hoan_tien cần người duyệt (được tô màu nhấn); chay_sql bị chặn hẳn.
Chỉ những lệnh mà sai một lần là gây thiệt hại thật mới vào hàng đợi người duyệt. Phần kiểm tra còn lại do guardrail tự động lo. Ví dụ giả định trong bài. Nguồn: bảng chính sách minh hoạ của bài viết.

Dữ liệu Anthropic công bố về cách người dùng giám sát agent có một chi tiết thoạt nghe ngược đời. Người mới, dưới 50 phiên, bật chế độ tự động duyệt toàn bộ khoảng 20% số lần; khi đã qua 750 phiên, tỉ lệ đó vượt 40%. Vậy mà chính nhóm dày dạn ấy lại ngắt agent thường xuyên hơn chứ không ít đi.

Thật ra đó là hai hành vi khác nhau. Người có kinh nghiệm thôi bấm đồng ý cho từng bước, nhưng biết chính xác lúc nào phải nhảy vào. Anthropic rút ra rằng giám sát hiệu quả không đòi hỏi phải phê duyệt mọi hành động.

Với FDE, nghịch lý này là bài toán thiết kế hằng ngày. Khi bạn đưa agent vào hệ thống thật của khách, nơi nó đọc đơn hàng, gửi email và hoàn tiền, khách sẽ hỏi hai câu ngược nhau: làm sao để nó không tự làm bậy, và sao cái gì cũng bắt người duyệt. Lớp oversight trả lời được cả hai câu nếu bạn dựng nó đúng.

Máy kiểm tra phần rẻ, người quyết phần đắt

Hướng dẫn về agent của OpenAI chia việc rất rõ: guardrail dùng cho các kiểm tra tự động, còn human review dành cho quyết định phê duyệt. Guardrail là code. Nó trả lời những câu có đáp án rõ: số tiền có vượt giá trị đơn không, email có lộ dữ liệu nội bộ không, tham số có đúng định dạng không.

Người duyệt được giữ cho những câu cần phán đoán, khi một lần sai đủ gây thiệt hại thật. Nếu bạn đẩy cả những câu máy trả lời được vào hàng đợi, người duyệt sẽ mỏi và bắt đầu bấm đồng ý cho xong.

Danh sách tool nào phải dừng nên nằm trong một bảng chính sách riêng, đừng viết lẫn vào prompt. Middleware human-in-the-loop của LangChain làm đúng như vậy: bạn khai báo theo tên tool, và khi một lệnh gọi khớp với mục trong bảng, quá trình thực thi bị ngắt.

Đó chính là cờ rủi ro. Anthropic khuyên thêm hai thứ: cho agent dừng xin ý kiến người ở các checkpoint hoặc khi gặp vướng mắc, và đặt sẵn điều kiện để nó tự dừng hẳn.

Khi agent dừng, thứ gì phải sống sót?

Trong luồng duyệt của OpenAI, lệnh gọi bị gắn cờ không chạy, và cả run tạm dừng cho tới khi bạn chấp thuận hoặc từ chối. Khi có quyết định, bạn chạy tiếp chính run đó từ state đã lưu thay vì mở một lượt hội thoại mới.

Chi tiết nhỏ này cho phép hàng đợi bất đồng bộ: người duyệt bên khách có thể trả lời sau buổi họp, agent vẫn nhớ nó đang làm dở việc gì.

Đổi lại, state phải nằm ở nơi không mất đi khi tiến trình khởi động lại. Tài liệu LangChain nói thẳng rằng human-in-the-loop cần checkpointing để xử lý các lần ngắt.

Ở môi trường khách, nếu state chỉ nằm trong RAM, một lần deploy lại hay pod bị khởi động lại là xóa sạch mọi việc đang chờ duyệt. Hãy dùng database mà đội vận hành của khách đã quen backup và giám sát.

Lần theo một ca: agent hoàn tiền của một nhà bán lẻ

Ví dụ sau là giả định, dựng để thấy các mảnh ghép lắp vào nhau. Agent hỗ trợ khách hàng có năm tool, và bảng chính sách xếp chúng thành ba tầng:

Tool Tầng Guardrail tự động Người duyệt được làm gì
tra_don_hang Tự chạy Chỉ đọc đơn của đúng khách Không cần
dong_ticket Tự chạy Ticket phải có ghi chú Không cần
gui_email_khach Cần duyệt Không chứa dữ liệu nội bộ Duyệt, sửa, từ chối
hoan_tien Cần duyệt Số tiền ≤ giá trị đơn Duyệt, sửa, từ chối
chay_sql Chặn Không áp dụng Không có

Phần lõi viết ra chỉ vài chục dòng. Bản phác dưới đây không gắn với framework nào, mục đích là để thấy thứ tự kiểm tra:

POLICY = {
    "tra_don_hang":    {"tier": "auto"},
    "dong_ticket":     {"tier": "auto"},
    "gui_email_khach": {"tier": "review", "decisions": ["approve", "edit", "reject"]},
    "hoan_tien":       {"tier": "review", "decisions": ["approve", "edit", "reject"],
                        "guard": lambda args, order: args["so_tien"] <= order["tong_tien"]},
    "chay_sql":        {"tier": "block"},
}

def xu_ly_tool_call(run_id, state, call, order):
    rule = POLICY.get(call.name, {"tier": "block"})  # tool lạ: chặn mặc định
    if rule["tier"] == "block":
        return reject(call, "Tool không nằm trong chính sách")
    guard = rule.get("guard")
    if guard and not guard(call.args, order):
        return reject(call, "Vượt hạn mức, không cần người xem")
    if rule["tier"] == "review":
        save_checkpoint(run_id, state)  # lưu bền, không để trong RAM
        return enqueue_for_review(run_id, call, rule["decisions"])
    return execute(call)

Một khách nhắn đòi hoàn tiền. Trong cùng một lượt, agent đề xuất hai lệnh: gui_email_khach báo đã hoàn tiền, rồi hoan_tien với số tiền bằng giá trị đơn. Cả hai qua được guardrail, nhưng đều thuộc tầng cần duyệt, nên run dừng, state được lưu, và hàng đợi hiện hai hành động theo đúng thứ tự đó.

Người duyệt mở hồ sơ và thấy đơn này đã được hoàn qua cổng thanh toán từ hôm trước. Họ sửa email để báo khách kiểm tra tài khoản, còn lệnh hoàn tiền thì từ chối kèm lý do. LangChain cho người duyệt đúng ba lựa chọn này, và quyết định reject cho phép từ chối lệnh gọi rồi gửi phản hồi về agent thay vì thực thi.

Có một cái bẫy nằm ở đây. Ở chế độ batched mặc định, quyết định phải được gửi theo đúng thứ tự các hành động trong yêu cầu ngắt.

Nếu giao diện hàng đợi của bạn sắp xếp lại, chẳng hạn lệnh tiền lên trước cho dễ thấy, thì phần sửa email có thể bị áp nhầm vào lệnh hoàn tiền.

Khi run chạy tiếp từ state, agent đọc lý do bị từ chối và đóng ticket với ghi chú đúng sự thật.

Dựng ở khách thì bắt đầu từ đâu?

Việc đầu tiên là kiểm kê mọi đường agent có thể dùng để tác động lên hệ thống. Tài liệu OpenAI lưu ý tool guardrail chỉ chạy trên những function tool được gắn vào nó. Một tool chay_sql đa năng, một MCP server ai đó thêm vào sau, hay một lệnh shell trong sandbox đều là đường vòng nếu không có trong bảng.

Tiếp theo, ngồi với người chủ quy trình bên khách để xếp tầng. Câu hỏi nên dùng là: nếu lệnh này chạy sai một lần, ai phải gọi điện xin lỗi và mất bao lâu để sửa? Câu trả lời giúp bạn chọn tầng cho từng tool, và chọn luôn người duyệt.

Sau đó mới viết guardrail, nối checkpoint vào database bền, dựng giao diện hàng đợi hiển thị đủ ngữ cảnh để quyết định trong một màn hình. Anthropic khuyên thử nghiệm kỹ trong sandbox kèm guardrail phù hợp trước khi lên production, và đây là chỗ bạn chạy lại các ca thật đã ẩn danh để xem tầng nào dừng quá nhiều.

Những lỗi biến hàng đợi thành con dấu

Lỗi phổ biến nhất là bắt duyệt quá nhiều. Khi mọi lệnh đều dừng, người duyệt học cách bấm đồng ý mà không đọc, và bạn có cảm giác an toàn mà không có an toàn. Hãy theo dõi tỉ lệ lệnh được duyệt nguyên trạng ở từng tool; tool nào gần như luôn được duyệt y là ứng viên để hạ xuống tầng tự chạy kèm guardrail chặt hơn.

Lỗi thứ hai là từ chối mà không giải thích. Agent không biết vì sao bị chặn sẽ đề xuất lại gần như y hệt, và hàng đợi đầy lên bằng cùng một yêu cầu. Lỗi thứ ba là để state trong bộ nhớ, đã nói ở trên, và nó thường chỉ lộ ra vào đúng hôm khách deploy lại.

Trên CV, một dòng như “thiết kế chính sách duyệt theo ba tầng rủi ro cho agent hoàn tiền, chỉ X% lệnh gọi phải qua người” thuyết phục hơn hẳn “có kinh nghiệm LLM”.

Người dùng lâu năm trong dữ liệu Anthropic duyệt ít đi nhưng ngắt nhiều hơn. Lớp oversight bạn dựng cho khách nên giúp người duyệt làm đúng như vậy: ít bấm đồng ý, nhưng nhảy vào kịp lúc.

Bài này có hữu ích không?

Dùng cùng trợ lý AIHỏi Claude ↗Hỏi ChatGPT ↗
4 nguồn
Đọc tiếp trên lộ trình · Chặng 6: Đo lườngBa lỗi metering khiến khách khiếu nại hoá đơn tokenHai lỗi chặn được từ lúc thiết kế sự kiện, lỗi thứ ba cần đối soát xong trước khi hoá đơn bị chốt.