# Agent nói đã hủy đơn chưa chắc đơn đã bị hủy

> Bộ chấm kiểu τ-bench nhìn vào database thay vì transcript, và dựng được trong một buổi chiều bằng Python trên laptop.

Bản gốc: https://fdetimes.net/vi/bach-khoa/thuc-hanh-eval-agent-theo-trang-thai-cuoi-tau-bench/

Agent trả lời khách: "Tôi đã hủy đơn hàng giúp bạn." Transcript trông hoàn hảo. Nhưng đơn có thật sự chuyển sang trạng thái hủy trong database hay không lại là chuyện khác.

Hướng dẫn về eval của Anthropic nêu đúng vấn đề này qua một ví dụ đặt chỗ: kết quả thật là việc database SQL của môi trường có chứa dòng đặt chỗ đó hay không, và agent hoàn toàn có thể báo thành công trong khi trạng thái thật nói điều ngược lại.

Đơn hàng bị hủy cũng vậy: thứ cần kiểm là dòng dữ liệu của đơn, không phải câu agent nói.

τ-bench, benchmark do Sierra công bố năm 2024, được xây quanh đúng ý đó. Nó bỏ qua lời thoại, chỉ nhìn vào dữ liệu: khi cuộc trò chuyện kết thúc, database được đem đối chiếu với trạng thái đích mà người làm benchmark đã gán nhãn từ trước. Sierra gọi đây là cách chấm theo trạng thái, và nhờ vậy không cần người hay LLM ngồi chấm.

Bạn cần nắm kỹ năng này vì ở chỗ khách hàng, câu hỏi luôn là "agent có làm đúng việc không", không phải "agent nói có hay không". Bài hướng dẫn này dựng một bộ chấm thu nhỏ theo đúng cơ chế của τ-bench, chạy được trên laptop chỉ với Python.

## Bạn sẽ dựng gì, và cần chuẩn bị gì?

Sản phẩm cuối là một hàm `reward` cho mỗi lượt chạy điểm 1 hoặc 0, cùng một hàm tính pass^k trên nhiều lượt chạy. Bạn cần Python 3, một "database" dạng dict và một agent có thể gọi tool. Agent dùng framework nào cũng được, miễn nó sửa dữ liệu qua các hàm tool.

Toàn bộ code dưới đây là bản giản lược, viết lại để minh họa cơ chế. Nó không phải code của repo τ-bench. Bản gốc nằm trong `tau_bench/envs/base.py`, và nên đọc sau khi bạn làm xong.

## Bước 1: một hàm hash cho cả database

Trong bản tham chiếu, hàm `get_data_hash` băm toàn bộ dữ liệu của môi trường ngay sau khi agent chạy xong. Bản tương đương đơn giản nhất là serialize dict theo thứ tự khóa cố định rồi băm:

```python
import copy, hashlib, json

def data_hash(data: dict) -> str:
    blob = json.dumps(data, sort_keys=True, ensure_ascii=False)
    return hashlib.sha256(blob.encode()).hexdigest()
```

Cách kiểm tra: gọi hàm hai lần trên cùng một dict, rồi trên một bản `deepcopy`. Cả ba lần phải ra cùng một chuỗi. Nếu lệch, dữ liệu của bạn đang có thứ gì đó không xác định, thường là set hoặc object không serialize ổn định.

## Bước 2: viết task như một chuỗi thao tác chuẩn

Ở τ-bench, agent có trong tay các API tool và bộ quy định của từng lĩnh vực, còn người dùng do LLM đóng vai và trò chuyện qua nhiều lượt. Mỗi task đi kèm đáp án dưới dạng các thao tác chuẩn, không phải một câu trả lời mẫu. Thử hình dung một cửa hàng bán lẻ:

```python
def cancel_order(data, order_id, reason):
    data["orders"][order_id]["status"] = "cancelled"
    data["orders"][order_id]["cancel_reason"] = reason

TOOLS = {"cancel_order": cancel_order}

task = {
    "instruction": "Khách muốn hủy đơn W1001 vì đặt nhầm",
    "actions": [("cancel_order",
                 {"order_id": "W1001", "reason": "ordered by mistake"})],
    "outputs": [],
}
```

Cách kiểm tra: tự chạy tay các thao tác trong `actions` trên một bản sao dữ liệu rồi mở kết quả ra xem. Đó phải đúng là trạng thái mà một nhân viên giỏi để lại sau ca này.

## Bước 3: so hash của agent với hash của đáp án

Đây là phần lõi. Hàm `calculate_reward` của τ-bench chạy lại các thao tác chuẩn trên một bản sao dữ liệu sạch, so hash thu được với hash cuối của agent, và cho 0 điểm nếu hai bên lệch nhau.

Bản tham chiếu còn kiểm tra thêm `task.outputs`: nếu task yêu cầu agent nói ra một chuỗi cụ thể, chuỗi đó được so không phân biệt hoa thường và bỏ dấu phẩy, thiếu là mất điểm.

```python
def reward(initial, agent_data, task, agent_replies):
    gt = copy.deepcopy(initial)
    for name, args in task["actions"]:
        TOOLS[name](gt, **args)
    if data_hash(agent_data) != data_hash(gt):
        return 0.0
    said = " ".join(agent_replies).lower().replace(",", "")
    for out in task["outputs"]:
        if out.lower().replace(",", "") not in said:
            return 0.0
    return 1.0
```

Giờ thử một ca giả định. Agent hủy đúng đơn W1001 nhưng ghi lý do "no longer needed", trong khi khách nói rõ là đặt nhầm. Transcript đọc vẫn ổn, khách vẫn cảm ơn, nhưng trường `cancel_reason` khác nên hash lệch và lượt đó được 0 điểm. Người chấm đọc lướt rất dễ bỏ qua lỗi này.

**Điểm mấu chốt:** Lời agent nói chỉ là lời khai. Trạng thái database mới là bằng chứng.

## Bước 4: chạy lại nhiều lần và tính pass^k

Một lần đúng chưa nói được nhiều. Sierra đưa ra pass^k để kiểm tra độ ổn định: cùng một task, agent có lặp lại được kết quả đúng hay không.

Theo cách Anthropic giải thích, đây là xác suất để không lượt nào trong k lượt thất bại, nên k càng lớn thì con số càng giảm, và vì thế nó đặc biệt quan trọng với agent làm việc trực tiếp với khách hàng.

```python
def pass_hat_k(results):  # {task_id: [1.0, 0.0, ...]} với k lượt mỗi task
    ok = [all(r == 1.0 for r in runs) for runs in results.values()]
    return sum(ok) / len(ok)
```

Hàm này là bản giản lược: nó chạy đúng k lượt mỗi task và chỉ tính task là qua khi cả k lượt đều đúng. Muốn so số của bạn với số trong bài báo τ-bench, hãy đọc kỹ cách bài báo tính trước đã.

Làm thử một phép tính: nếu agent đúng 60% mỗi lượt và các lượt độc lập với nhau, xác suất đúng cả 8 lượt là 0,6 mũ 8, khoảng 1,7%.

Con số trung bình 60% trông khá ổn, nhưng thứ khách hàng cảm nhận lại gần với con số 1,7%.

Số liệu thật của τ-bench cũng theo hướng đó. Ngay cả agent dùng GPT-4o tốt nhất cũng chỉ thành công chưa tới một nửa số task, tính trung bình cả hai lĩnh vực, và ở retail, pass^8 của các agent function-calling mạnh dưới 25%. Sierra viết rằng mọi agent được thử đều làm rất kém ở bài kiểm tra độ ổn định.

## Muốn chạy bản gốc thì sao?

Repo `sierra-research/tau-bench` chạy qua một CLI, trong đó bạn chọn chiến lược agent, môi trường và model:

```bash
python run.py --env retail --model gpt-4o --agent-strategy tool-calling
```

Repo cũng cho chạy riêng từng task theo ID, cú pháp cụ thể có trong README. Lưu ý là repo đã ghi rõ bộ task không còn được cập nhật. Vì vậy hãy dùng nó để học cơ chế chấm, đừng coi nó là thước đo hiện hành cho agent của khách.

## Những lỗi khiến bộ chấm tự lừa bạn

**Hash cả những trường ngẫu nhiên.** Nếu timestamp, ID sinh ngẫu nhiên hay thời điểm cập nhật lọt vào hash, agent làm đúng vẫn có thể bị 0 điểm. Nên bỏ các trường này ra hoặc đưa chúng về một giá trị cố định trước khi hash, và ghi lại mình đã bỏ những trường nào.

**Thao tác chuẩn mơ hồ.** Nếu một yêu cầu của khách có hai cách xử lý đều hợp chính sách, so hash đúng tuyệt đối sẽ phạt oan agent. Hãy viết lại instruction sao cho chỉ còn một trạng thái đích đúng.

**Quên `outputs` ở task chỉ đọc.** Nếu khách hỏi số dư, database không đổi gì, nên hash sẽ khớp kể cả khi agent đọc sai con số. Với loại task này, chuỗi bắt buộc trong câu trả lời mới là thứ quyết định điểm.

Còn một cám dỗ nữa là quay lại đọc transcript để "cộng điểm cho cố gắng". Anthropic khuyên chấm thứ agent tạo ra chứ không chấm con đường nó đi. Transcript nên dùng để tìm nguyên nhân khi một task trượt, không dùng để chấm.

## Kỹ năng này xuất hiện thế nào ở chỗ khách hàng?

Ở một deployment thật, "database" là sandbox của CRM, hệ thống ticket hay hệ thống đặt chỗ của khách. Việc khó không nằm ở code mà ở chỗ ngồi với chuyên gia nghiệp vụ để viết trạng thái đích cho từng tình huống, kể cả các tình huống mà chính sách cấm agent làm.

Việc đầu tiên nên làm khi đến nơi là xin một bản sao dữ liệu có thể reset, vì không reset được thì không chạy lại được, và không chạy lại thì không có pass^k.

Với CV hay buổi phỏng vấn FDE, một dòng như "dựng eval harness chấm agent theo trạng thái database, báo cáo pass^k trên các task lấy từ ticket thật" có sức nặng hơn nhiều so với "có kinh nghiệm LLM". Khi job description nhắc tới evals hay reliability, hãy chuẩn bị sẵn câu chuyện về một bộ chấm như thế này để kể trong buổi phỏng vấn.

Lần tới khi demo trước khách, đừng chỉ cho họ xem cuộc hội thoại. Hãy cho xem hai chuỗi hash trùng nhau, tám lần liền.

**Thử ngay tuần này:**

- Chọn 5 task thật từ hệ thống của khách hàng hoặc dự án của bạn, viết thao tác chuẩn cho từng task và chấm agent bằng hash thay vì đọc log
- Chạy mỗi task 8 lần rồi báo cả tỉ lệ thành công trung bình lẫn pass^8, so xem hai con số cách nhau bao xa
- Clone repo sierra-research/tau-bench, chạy lệnh run.py với env retail và đọc hàm calculate_reward trong tau_bench/envs/base.py

## Nguồn

- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](https://arxiv.org/abs/2406.12045)

- [sierra-research/tau-bench (GitHub)](https://github.com/sierra-research/tau-bench)

- [τ-bench: Shaping the development and evaluation of agents (Sierra)](https://sierra.ai/blog/benchmarking-ai-agents)

- [tau_bench/envs/base.py (sierra-research/tau-bench)](https://github.com/sierra-research/tau-bench/blob/main/tau_bench/envs/base.py)

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)
