Pipeline báo xanh chưa chắc bản cài ở chỗ khách đã chạy
Ba test pytest và một exit code cho biết có cần rollback, miễn là bạn không để mã 5 lọt qua cổng.
Tóm tắt nhanh
- Smoke test chỉ kiểm vài đường sống còn như khởi động, kết nối database và xác thực, tổng thời gian dưới 2 phút.
- Khai báo một tùy chọn dòng lệnh trong conftest.py để cùng một suite chạy được trên mọi môi trường khách.
- Script deploy phải coi mọi exit code khác 0 là lỗi, kể cả mã 5 (không thu thập được test nào).
Trong ArgoCD, bạn có thể gắn smoke test vào PostSync hook để nó chạy ngay khi deployment hoàn tất. Nhưng có một chi tiết hay bị bỏ qua: khi test thất bại, sync bị đánh dấu là fail, còn các resource mới vẫn nằm nguyên trong cluster. Công cụ chỉ báo cho bạn biết. Quyết định rollback vẫn nằm trong tay bạn.
Với một FDE, đây là chuyện hằng ngày. Bạn cài sản phẩm vào hạ tầng của khách, với mạng riêng, database riêng và hệ thống đăng nhập riêng của họ, rồi pipeline báo xanh. Google SRE Workbook nói rõ rằng có những lỗi release chỉ lộ ra khi traffic thật bắt đầu đổ vào service. Môi trường của khách chính là nơi những lỗi ấy xuất hiện.
Bài này hướng dẫn bạn viết một bộ smoke test bằng pytest. Bộ test chạy được trên bất kỳ môi trường khách nào chỉ bằng một tham số dòng lệnh, và trả về exit code để script deploy dựa vào đó quyết định giữ bản cài hay rollback.
Bạn sẽ dựng gì, và cần chuẩn bị gì
Hãy lấy một ví dụ giả định: bạn vừa deploy một service tìm kiếm tài liệu vào hạ tầng của khách. Service này có ba endpoint, cũng là giả định để minh họa: /health báo tiến trình đã khởi động, /ready chỉ trả 200 khi kết nối được database, còn /api/search yêu cầu token. Khi làm thật, bạn thay bằng các endpoint mà sản phẩm của bạn có.
Bạn cần Python 3, pytest, URL của môi trường cần kiểm và một token thử nghiệm đặt trong biến môi trường. Code dưới đây dùng urllib của thư viện chuẩn để khỏi cài thêm gói. Đây là bản rút gọn, đủ để học cách làm chứ chưa phải bản hoàn chỉnh cho production.
smoke/
pytest.ini
conftest.py
test_smoke.py
Bước 1: chỉ kiểm những gì làm sập cả hệ thống
Smoke test là bước kiểm tra nhanh để biết các chức năng cốt lõi có hoạt động hay không. Nó cho bạn tín hiệu sớm rằng phần nền của bản deploy đã chạy. Phạm vi nên gói trong những đường sống còn như khởi động, kết nối database và xác thực. Edge case và từng tính năng nhỏ không thuộc phạm vi này.
Ngân sách thời gian nên dưới 2 phút cho cả bộ. Lấy ví dụ trên: ba test, mỗi request có timeout 5 giây. Trường hợp xấu nhất là bốn request đều treo hết timeout, tức khoảng 20 giây, vẫn còn xa giới hạn. Nếu bộ test bắt đầu phình lên vài phút, đó là dấu hiệu bạn đang nhét test hồi quy vào nhầm chỗ.
Bước 2: đăng ký marker và để pytest bắt lỗi chính tả
pytest khuyến nghị đăng ký các marker tự đặt, chẳng hạn smoke, trong file cấu hình:
# pytest.ini
[pytest]
markers =
smoke: kiểm tra nhanh các đường sống còn sau khi deploy
Kiểm tra: chạy pytest --markers và tìm dòng smoke trong danh sách. Khi chạy suite, luôn thêm --strict-markers. Với cờ này, mọi marker chưa đăng ký mà bạn gắn bằng decorator @pytest.mark... đều gây lỗi. Nhờ vậy, một chữ @pytest.mark.smok gõ nhầm sẽ bị chặn ngay, thay vì âm thầm khiến test đó không bao giờ được chọn để chạy.
Bước 3: một suite cho mọi môi trường khách
Bạn không nên hardcode URL. Tài liệu pytest hướng dẫn thêm một tùy chọn dòng lệnh qua pytest_addoption trong conftest.py, sau đó đưa giá trị ấy vào test qua một fixture:
# conftest.py
import pytest
def pytest_addoption(parser):
parser.addoption("--target-url", action="store", default=None,
help="URL gốc của môi trường cần kiểm")
@pytest.fixture
def target_url(request):
url = request.config.getoption("--target-url")
if not url:
pytest.fail("Thiếu --target-url")
return url.rstrip("/")
Kiểm tra: chạy pytest --help và tìm --target-url trong phần tùy chọn tự định nghĩa.
Bước 4: viết ba test cho ba đường sống còn
# test_smoke.py
import os
import urllib.error
import urllib.request
import pytest
TIMEOUT = 5 # giây
def get_status(url, token=None):
req = urllib.request.Request(url)
if token:
req.add_header("Authorization", f"Bearer {token}") # giả định kiểu xác thực
try:
with urllib.request.urlopen(req, timeout=TIMEOUT) as resp:
return resp.status
except urllib.error.HTTPError as err:
return err.code
@pytest.mark.smoke
def test_service_started(target_url):
assert get_status(f"{target_url}/health") == 200
@pytest.mark.smoke
def test_database_reachable(target_url):
assert get_status(f"{target_url}/ready") == 200
@pytest.mark.smoke
def test_auth_rejects_then_accepts(target_url):
assert get_status(f"{target_url}/api/search?q=test") == 401
token = os.environ["SMOKE_TOKEN"]
assert get_status(f"{target_url}/api/search?q=test", token) == 200
Test thứ ba kiểm cả hai chiều. Nếu không có token mà vẫn qua được thì đó là lỗ hổng, không phải thành công. Một test chỉ kiểm chiều “có token thì được 200” sẽ vẫn báo xanh ngay cả khi lớp xác thực bị tắt hẳn.
Bước 5: dùng exit code để quyết định giữ hay rollback
Exit code của pytest là thứ script deploy cần đọc. Mã 0 nghĩa là mọi test đều qua. Mã 1 nghĩa là test đã được thu thập và chạy nhưng có cái thất bại. Mã 5 nghĩa là không thu thập được test nào, và đây chính là cái bẫy.
pytest -m smoke --strict-markers --target-url "$TARGET_URL" -q
rc=$?
if [ "$rc" -ne 0 ]; then
echo "Smoke test không đạt (exit $rc), cân nhắc rollback"
exit 1
fi
Thử hình dung bạn gõ nhầm -m smoek trên dòng lệnh. --strict-markers chỉ bắt lỗi chính tả ở decorator, không bắt lỗi trong biểu thức -m, nên pytest không chọn được test nào và trả về mã 5. Nếu script của bạn chỉ kiểm rc -eq 1, bản deploy sẽ qua cổng mà không có lấy một test nào được chạy. Vì vậy điều kiện đúng là -ne 0.
Ba cách smoke test đánh lừa bạn
Cái bẫy exit code 5 vừa nói là cách đầu tiên. Cách thứ hai là để bộ test phình dần cho đến khi nó chạy mười phút: khi đó người ta bắt đầu bỏ qua nó lúc gấp, mà lúc gấp lại là lúc cần nó nhất.
Giá trị của smoke test nằm ở tốc độ, vì test fail là bạn biết ngay có gì đó hỏng và có thể rollback trước khi người dùng nhận ra.
Cách thứ ba là tin rằng hệ thống tự xử lý giúp bạn. Như ví dụ ArgoCD ở đầu bài, PostSync hook fail không tự gỡ các resource mới. Bạn cần viết sẵn quy trình rollback, hoặc ít nhất giao cho một người cụ thể quyền quyết định, trước khi bấm deploy.
Ở chỗ khách, kỹ năng này trông thế nào
Google SRE định nghĩa canarying là một lần triển khai thay đổi một phần, có giới hạn thời gian, kèm theo bước đánh giá thay đổi đó. Smoke test là phiên bản đơn giản hơn của bước đánh giá ấy, và thường là thứ duy nhất khả thi trong tuần đầu ở chỗ khách, khi bạn chưa có traffic chia nhỏ hay dashboard.
Tuần đầu ở chỗ khách, việc nên làm đầu tiên là hỏi họ cấp một tài khoản thử nghiệm riêng cho smoke test, để SMOKE_TOKEN không phải mượn token của một người thật.
Bộ test này còn là công cụ giao tiếp. Khi khách hỏi “đã cài xong chưa”, bạn trả lời bằng ba dòng xanh và một exit code thay vì một câu “chắc là ổn”.
Khi đi phỏng vấn hoặc viết CV, hãy mô tả cụ thể: smoke test kiểm những đường nào, chạy ở bước nào của pipeline, và đã từng chặn được lỗi gì. Một mô tả như vậy cho thấy bạn kiểm chứng được sản phẩm đang thật sự chạy, chứ không dừng ở chỗ đã deploy xong.
Pipeline xanh cho biết bạn đã giao code tới nơi. Còn sản phẩm có chạy được trên hạ tầng của khách hay không thì ba test pytest kia mới trả lời được.
Bài này có hữu ích không?
Cảm ơn bạn đã góp ý!