# Agent đúng 90% mỗi lần chỉ còn 43% khi phải đúng cả 8 lần

> 160 lần chạy trên laptop đủ cho bạn biết agent đã đáng tin để giao cho khách hay chưa.

Bản gốc: https://fdetimes.net/vi/bach-khoa/thuc-hanh-do-do-tin-cay-agent-dieu-khien-trinh-duyet-20-tac-vu/

Agent điều khiển trình duyệt của bạn vừa điền xong form đặt hàng trước mặt khách, không vấp lần nào. Nhưng khách không cần nó làm được một lần. Họ cần nó làm đúng lần thứ 50 vào sáng thứ Hai, lúc không ai ngồi xem.

τ-bench đưa ra chỉ số pass^k để đo đúng khoảng trống này: độ tin cậy của agent khi chạy lại cùng một tác vụ nhiều lần. Kết quả cho thấy cả agent function calling mạnh như gpt-4o cũng thành công ở dưới 50% số tác vụ và khá thiếu nhất quán: pass^8 ở miền retail dưới 25%.

Bài này hướng dẫn bạn dựng một bài đo như vậy ngay trên laptop: 20 tác vụ, mỗi tác vụ 8 lần chạy, tổng cộng 160 trial. Xong bài, bạn có ba con số và một danh sách kiểu lỗi, đủ để trả lời câu khách hay hỏi nhất: "Cái này chạy thật được chưa?"

## Vì sao 90% chưa phải là tốt?

Hai chỉ số này hay bị nhầm với nhau, nên cần tách rõ trước. pass@k tính một tác vụ là đạt nếu có ít nhất một lần đúng trong k lần thử. Còn pass^k, theo bài viết về eval agent của Anthropic, là xác suất cả k lần đều thành công.

Thử làm một phép tính. Giả sử một tác vụ có tỉ lệ thành công cố định mỗi lần và các lần chạy độc lập với nhau. Khi đó pass^8 bằng tỉ lệ đó nhân với chính nó 8 lần, còn pass@8 gần như luôn chạm 100%:

| Tỉ lệ đúng mỗi lần | pass@8 | pass^8 |
|---|---|---|
| 80% | gần 100% | 0,8^8 ≈ 17% |
| 90% | gần 100% | 0,9^8 ≈ 43% |
| 95% | gần 100% | 0,95^8 ≈ 66% |

Một agent "đúng 9 lần trên 10" nghe rất ổn trong buổi demo. Nhưng chạy tám lần liền thì chưa tới một nửa số lần nó làm trọn vẹn. Anthropic cũng lưu ý pass^k giảm khi k tăng, và đây là con số quan trọng nhất với agent làm việc trực tiếp với khách hàng.

Có một điểm cần nói thẳng: lỗi thật hiếm khi độc lập. Chúng thường dính vào nhau, cùng một pop-up, cùng một bước chập chờn hỏng đi hỏng lại, nên 43% là phép minh họa chứ không phải dự báo. Con số thật của bạn phải đến từ việc chạy lặp lại, và từ việc đọc xem các lần hỏng giống nhau ở đâu, như bước 5 sẽ làm.

**Điểm mấu chốt:** Khách hàng không mua lần chạy đẹp nhất, họ mua lần chạy tệ nhất.

## Bạn cần chuẩn bị gì?

Bạn cần một agent điều khiển trình duyệt đang hoạt động, framework nào cũng được, và Playwright để ghi trace. Bạn cũng cần một môi trường thử mà bạn kiểm soát được trạng thái, chẳng hạn bản staging của ứng dụng khách hàng hoặc một app mẫu có database riêng. Đừng đo trên production: bạn sẽ chạy 160 lần, và nhiều lần trong số đó sẽ hỏng.

## Bước 1: viết 20 tác vụ, chấm bằng trạng thái cuối

Mỗi tác vụ gồm hai phần: câu lệnh giao cho agent và một hàm kiểm tra. Hàm kiểm tra nhìn vào trạng thái cuối của môi trường khi trial kết thúc, chứ không nhìn vào câu trả lời của agent.

Lấy ví dụ tác vụ "đổi địa chỉ giao hàng của đơn #1042". Đừng chấm bằng việc agent trả lời "Đã cập nhật xong". Hãy query database xem trường địa chỉ của đơn đó đã đổi chưa, và các đơn khác có bị đụng tới không. Đoạn dưới đây là khung giản lược, `db` là kết nối tới môi trường thử của bạn:

```python
def check_task_07(db):
    row = db.get_order(1042)
    return row["shipping_address"] == "12 Example St" and db.count_modified_orders() == 1
```

Nên chọn tác vụ từ việc thật của khách, trộn cả việc dễ lẫn việc nhiều bước. Hai mươi tác vụ không nhiều, nhưng đủ để thấy tác vụ nào ổn định và tác vụ nào chỉ may mắn.

**Kiểm tra:** chạy từng hàm kiểm tra trên môi trường chưa ai đụng vào. Tất cả phải trả về `False`. Nếu một hàm trả về `True` ngay từ đầu thì tác vụ đó đang chấm sai.

## Bước 2: mỗi trial bắt đầu từ môi trường sạch

Anthropic nhắc rằng hành vi agent thay đổi giữa các lần chạy: tác vụ qua ở lần eval này có thể hỏng ở lần sau. Một nghiên cứu độc lập về computer use agent cũng thấy điều tương tự ngay cả khi tác vụ và mô hình giữ nguyên, và khuyên đánh giá agent bằng cách chạy lặp lại.

Muốn các lần lặp so được với nhau, mỗi trial nên bắt đầu từ cùng một trạng thái: nếu trial 3 để lại cookie, giỏ hàng hay một bản ghi đã sửa, trial 4 sẽ được đo trên một thế giới khác.

Cách cụ thể tùy hạ tầng của bạn. Thông thường là reset database về snapshot, dùng profile trình duyệt mới và đăng nhập lại bằng tài khoản test. Chi tiết nào khó reset thì ghi vào sổ, vì đó cũng là thứ production sẽ gặp.

**Kiểm tra:** chạy cùng một tác vụ hai lần liên tiếp. Nếu lần thứ hai nhanh bất thường hoặc bỏ qua bước đăng nhập, môi trường chưa sạch.

## Bước 3: chạy 160 trial và bật trace

Theo tài liệu Playwright, cấu hình mặc định chỉ ghi trace ở lần retry đầu của test fail. Với bài đo này, bạn cần trace của mọi lần chạy, kể cả lần thành công, để so sánh. Nếu bạn bọc mỗi trial thành một Playwright test, có thể ép bật trace cho mọi lần chạy:

```bash
npx playwright test --trace on
```

Song song với đó, harness của bạn ghi mỗi trial ra một dòng JSON gồm `task_id`, `trial` và `passed` (kết quả của hàm kiểm tra ở bước 1), vào file `results.jsonl`.

**Kiểm tra:** file có đúng 160 dòng, và mỗi `task_id` xuất hiện đúng 8 lần.

## Bước 4: tính ba con số từ cùng một file

Đoạn script dưới đây chỉ dùng thư viện chuẩn của Python:

```python
import json
from collections import defaultdict

runs = defaultdict(list)
for line in open("results.jsonl"):
    r = json.loads(line)
    runs[r["task_id"]].append(r["passed"])

K = 8
tasks = list(runs.values())
pass1 = sum(sum(v[:K]) / K for v in tasks) / len(tasks)
pass_at_k = sum(any(v[:K]) for v in tasks) / len(tasks)
pass_hat_k = sum(all(v[:K]) for v in tasks) / len(tasks)
print(f"pass^1={pass1:.0%}  pass@8={pass_at_k:.0%}  pass^8={pass_hat_k:.0%}")
```

Script đếm trực tiếp theo định nghĩa: một tác vụ đạt pass^8 khi cả 8 trial đều qua, và đạt pass@8 khi có ít nhất một trial qua. Thử hình dung một tác vụ qua 7/8 trial. Nó được tính trọn ở pass@8 nhưng bằng 0 ở pass^8.

Khoảng cách giữa pass@8 và pass^8 chính là phần việc của bạn. Agent đã làm được tác vụ đó, chỉ là chưa làm được đều tay.

## Bước 5: đọc trace của các lần hỏng

Con số cho biết agent hỏng bao nhiêu. Trace cho biết nó hỏng vì đâu. Trace Viewer của Playwright là công cụ có giao diện để mở và xem lại các trace đã ghi, nên bạn có thể đặt lần chạy hỏng cạnh lần chạy thành công của cùng tác vụ và tìm bước đầu tiên hai bên rẽ khác nhau.

Anthropic coi việc đọc transcript là cách để biết eval của bạn có đang đo đúng thứ cần đo hay không.

Ghi mỗi lần hỏng vào một cột "kiểu lỗi". Bạn nên biết trước mình sẽ tìm gì. BrowserArena, khi thử agent trên web thật, thấy ba kiểu lỗi lặp đi lặp lại: giải captcha, đóng banner pop-up và điều hướng thẳng tới URL.

Hãy gom các lần hỏng theo kiểu lỗi để tìm nguyên nhân lặp lại, rồi bắt đầu sửa từ nhóm đông nhất. Đây cũng là chỗ bạn thấy rõ vì sao phép nhân ở phần đầu chỉ là minh họa: một pop-up có thể đánh hỏng cả loạt trial cùng một kiểu.

## Bước 6: làm xấu môi trường một cách có chủ đích

Staging của bạn sạch hơn web thật. WAREX đưa sự bất ổn sát thực tế vào các benchmark web agent có sẵn và thấy tỉ lệ thành công giảm đáng kể. ReliabilityBench cũng ghi nhận nhiễu đầu vào đơn thuần đã kéo tỉ lệ thành công từ 96,9% ở ε=0 xuống 88,1% ở ε=0,2.

Bạn có thể làm phiên bản giản lược: trong môi trường thử, thêm một đoạn script hiện modal cookie sau vài giây, hoặc cho một API trả lỗi ở một tỉ lệ nhỏ số request.

Chạy lại 160 trial trên môi trường đã làm xấu và so pass^8 với lần trước. Mức sụt giữa hai lần là thước đo độ bền mà demo không bao giờ cho bạn thấy.

## Ba cái bẫy làm con số đẹp giả

Đừng chấm theo lời agent tự báo: một câu "đã xong" không chứng minh trạng thái cuối đã đúng, nên hãy luôn để hàm kiểm tra ở bước 1 quyết định.

Cũng đừng dùng chung một phiên trình duyệt cho cả 8 trial, vì các trial sau sẽ hưởng lợi từ trial trước. Và đừng chỉ báo cáo pass@k: theo định nghĩa, nó luôn là con số cao nhất trong ba.

## Kỹ năng này xuất hiện ở đâu tại chỗ khách hàng?

Trong một engagement, bảng ba con số này là thứ bạn mang vào buổi quyết định có đưa agent lên production hay không. Thay vì nói "agent chạy khá ổn", bạn nói được tác vụ nào đạt 8/8, tác vụ nào chỉ đạt 5/8 và vì sao. Câu đó giúp khách quyết định giữ người duyệt ở bước nào.

Với CV hay buổi phỏng vấn FDE, hãy kể đúng quy trình này: bao nhiêu tác vụ, bao nhiêu trial, pass^k trước và sau khi bạn sửa các kiểu lỗi. Nếu tin tuyển dụng nhắc tới evals hay reliability, đây là câu chuyện nên đưa lên đầu.

Bản demo cho khách thấy agent làm được gì. 160 lần chạy cho họ thấy agent sẽ làm gì khi không còn ai ngồi xem.

**Thử ngay tuần này:**

- Chọn 20 tác vụ thật mà agent của bạn đang làm và viết cho mỗi tác vụ một hàm kiểm tra trạng thái cuối.
- Chạy mỗi tác vụ 8 lần với --trace on rồi tính pass^8 bằng đoạn script trong bài.
- Mở trace của ba lần chạy hỏng đầu tiên và ghi lại kiểu lỗi của từng lần.

## Nguồn

- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](https://arxiv.org/abs/2406.12045)

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks](https://arxiv.org/abs/2510.02418)

- [WAREX: Web Agent Reliability Evaluation on Existing Benchmarks](https://arxiv.org/abs/2510.03285)

- [Trace viewer | Playwright](https://playwright.dev/docs/trace-viewer-intro)

- [On the Reliability of Computer Use Agents](https://arxiv.org/abs/2604.17849)

- [ReliabilityBench: Evaluating LLM Agent Reliability Under Production-Like Stress Conditions](https://arxiv.org/abs/2601.06112)
