Dữ liệu FDE TimesViệc làm FDE đang mở 8840 Thay đổi số việc đang mở trong 7 ngày, so sánh cùng phạm vi: không tính việc của các công ty mới được theo dõi tuần nàyMới trong 7 ngày 53Công ty đang tuyển 185Nhận làm từ xa 25%Lương trung vị (Mỹ) $200kTuyển nhiều nhất Databricks 98
中文EN

Tờ báo của nghề Forward Deployed Engineer

Bách khoa

Pipeline báo xanh chưa chắc bản cài ở chỗ khách đã chạy

Ba test pytest và một exit code cho biết có cần rollback, miễn là bạn không để mã 5 lọt qua cổng.

Chia sẻLinkedInFacebookX

Tóm tắt nhanh

  • Smoke test chỉ kiểm vài đường sống còn như khởi động, kết nối database và xác thực, tổng thời gian dưới 2 phút.
  • Khai báo một tùy chọn dòng lệnh trong conftest.py để cùng một suite chạy được trên mọi môi trường khách.
  • Script deploy phải coi mọi exit code khác 0 là lỗi, kể cả mã 5 (không thu thập được test nào).
Cây quyết định: pytest trả về exit code. Mã 0 (mọi test qua) thì giữ bản cài. Mã 1 (có test thất bại) thì cân nhắc rollback. Mã 5 (không test nào chạy), được tô cam, phải coi là thất bại. Điều kiện đúng trong script là -ne 0.
Script deploy chỉ kiểm mã 1 sẽ để mã 5 lọt qua cổng: chỉ cần gõ nhầm -m smoek là không test nào chạy. Nguồn: tài liệu exit code của pytest, theo bài viết.

Trong ArgoCD, bạn có thể gắn smoke test vào PostSync hook để nó chạy ngay khi deployment hoàn tất. Nhưng có một chi tiết hay bị bỏ qua: khi test thất bại, sync bị đánh dấu là fail, còn các resource mới vẫn nằm nguyên trong cluster. Công cụ chỉ báo cho bạn biết. Quyết định rollback vẫn nằm trong tay bạn.

Với một FDE, đây là chuyện hằng ngày. Bạn cài sản phẩm vào hạ tầng của khách, với mạng riêng, database riêng và hệ thống đăng nhập riêng của họ, rồi pipeline báo xanh. Google SRE Workbook nói rõ rằng có những lỗi release chỉ lộ ra khi traffic thật bắt đầu đổ vào service. Môi trường của khách chính là nơi những lỗi ấy xuất hiện.

Bài này hướng dẫn bạn viết một bộ smoke test bằng pytest. Bộ test chạy được trên bất kỳ môi trường khách nào chỉ bằng một tham số dòng lệnh, và trả về exit code để script deploy dựa vào đó quyết định giữ bản cài hay rollback.

Bạn sẽ dựng gì, và cần chuẩn bị gì

Hãy lấy một ví dụ giả định: bạn vừa deploy một service tìm kiếm tài liệu vào hạ tầng của khách. Service này có ba endpoint, cũng là giả định để minh họa: /health báo tiến trình đã khởi động, /ready chỉ trả 200 khi kết nối được database, còn /api/search yêu cầu token. Khi làm thật, bạn thay bằng các endpoint mà sản phẩm của bạn có.

Bạn cần Python 3, pytest, URL của môi trường cần kiểm và một token thử nghiệm đặt trong biến môi trường. Code dưới đây dùng urllib của thư viện chuẩn để khỏi cài thêm gói. Đây là bản rút gọn, đủ để học cách làm chứ chưa phải bản hoàn chỉnh cho production.

smoke/
  pytest.ini
  conftest.py
  test_smoke.py

Bước 1: chỉ kiểm những gì làm sập cả hệ thống

Smoke test là bước kiểm tra nhanh để biết các chức năng cốt lõi có hoạt động hay không. Nó cho bạn tín hiệu sớm rằng phần nền của bản deploy đã chạy. Phạm vi nên gói trong những đường sống còn như khởi động, kết nối database và xác thực. Edge case và từng tính năng nhỏ không thuộc phạm vi này.

Ngân sách thời gian nên dưới 2 phút cho cả bộ. Lấy ví dụ trên: ba test, mỗi request có timeout 5 giây. Trường hợp xấu nhất là bốn request đều treo hết timeout, tức khoảng 20 giây, vẫn còn xa giới hạn. Nếu bộ test bắt đầu phình lên vài phút, đó là dấu hiệu bạn đang nhét test hồi quy vào nhầm chỗ.

Bước 2: đăng ký marker và để pytest bắt lỗi chính tả

pytest khuyến nghị đăng ký các marker tự đặt, chẳng hạn smoke, trong file cấu hình:

# pytest.ini
[pytest]
markers =
    smoke: kiểm tra nhanh các đường sống còn sau khi deploy

Kiểm tra: chạy pytest --markers và tìm dòng smoke trong danh sách. Khi chạy suite, luôn thêm --strict-markers. Với cờ này, mọi marker chưa đăng ký mà bạn gắn bằng decorator @pytest.mark... đều gây lỗi. Nhờ vậy, một chữ @pytest.mark.smok gõ nhầm sẽ bị chặn ngay, thay vì âm thầm khiến test đó không bao giờ được chọn để chạy.

Bước 3: một suite cho mọi môi trường khách

Bạn không nên hardcode URL. Tài liệu pytest hướng dẫn thêm một tùy chọn dòng lệnh qua pytest_addoption trong conftest.py, sau đó đưa giá trị ấy vào test qua một fixture:

# conftest.py
import pytest

def pytest_addoption(parser):
    parser.addoption("--target-url", action="store", default=None,
                     help="URL gốc của môi trường cần kiểm")

@pytest.fixture
def target_url(request):
    url = request.config.getoption("--target-url")
    if not url:
        pytest.fail("Thiếu --target-url")
    return url.rstrip("/")

Kiểm tra: chạy pytest --help và tìm --target-url trong phần tùy chọn tự định nghĩa.

Bước 4: viết ba test cho ba đường sống còn

# test_smoke.py
import os
import urllib.error
import urllib.request

import pytest

TIMEOUT = 5  # giây

def get_status(url, token=None):
    req = urllib.request.Request(url)
    if token:
        req.add_header("Authorization", f"Bearer {token}")  # giả định kiểu xác thực
    try:
        with urllib.request.urlopen(req, timeout=TIMEOUT) as resp:
            return resp.status
    except urllib.error.HTTPError as err:
        return err.code

@pytest.mark.smoke
def test_service_started(target_url):
    assert get_status(f"{target_url}/health") == 200

@pytest.mark.smoke
def test_database_reachable(target_url):
    assert get_status(f"{target_url}/ready") == 200

@pytest.mark.smoke
def test_auth_rejects_then_accepts(target_url):
    assert get_status(f"{target_url}/api/search?q=test") == 401
    token = os.environ["SMOKE_TOKEN"]
    assert get_status(f"{target_url}/api/search?q=test", token) == 200

Test thứ ba kiểm cả hai chiều. Nếu không có token mà vẫn qua được thì đó là lỗ hổng, không phải thành công. Một test chỉ kiểm chiều “có token thì được 200” sẽ vẫn báo xanh ngay cả khi lớp xác thực bị tắt hẳn.

Bước 5: dùng exit code để quyết định giữ hay rollback

Exit code của pytest là thứ script deploy cần đọc. Mã 0 nghĩa là mọi test đều qua. Mã 1 nghĩa là test đã được thu thập và chạy nhưng có cái thất bại. Mã 5 nghĩa là không thu thập được test nào, và đây chính là cái bẫy.

pytest -m smoke --strict-markers --target-url "$TARGET_URL" -q
rc=$?
if [ "$rc" -ne 0 ]; then
  echo "Smoke test không đạt (exit $rc), cân nhắc rollback"
  exit 1
fi

Thử hình dung bạn gõ nhầm -m smoek trên dòng lệnh. --strict-markers chỉ bắt lỗi chính tả ở decorator, không bắt lỗi trong biểu thức -m, nên pytest không chọn được test nào và trả về mã 5. Nếu script của bạn chỉ kiểm rc -eq 1, bản deploy sẽ qua cổng mà không có lấy một test nào được chạy. Vì vậy điều kiện đúng là -ne 0.

Ba cách smoke test đánh lừa bạn

Cái bẫy exit code 5 vừa nói là cách đầu tiên. Cách thứ hai là để bộ test phình dần cho đến khi nó chạy mười phút: khi đó người ta bắt đầu bỏ qua nó lúc gấp, mà lúc gấp lại là lúc cần nó nhất.

Giá trị của smoke test nằm ở tốc độ, vì test fail là bạn biết ngay có gì đó hỏng và có thể rollback trước khi người dùng nhận ra.

Cách thứ ba là tin rằng hệ thống tự xử lý giúp bạn. Như ví dụ ArgoCD ở đầu bài, PostSync hook fail không tự gỡ các resource mới. Bạn cần viết sẵn quy trình rollback, hoặc ít nhất giao cho một người cụ thể quyền quyết định, trước khi bấm deploy.

Ở chỗ khách, kỹ năng này trông thế nào

Google SRE định nghĩa canarying là một lần triển khai thay đổi một phần, có giới hạn thời gian, kèm theo bước đánh giá thay đổi đó. Smoke test là phiên bản đơn giản hơn của bước đánh giá ấy, và thường là thứ duy nhất khả thi trong tuần đầu ở chỗ khách, khi bạn chưa có traffic chia nhỏ hay dashboard.

Tuần đầu ở chỗ khách, việc nên làm đầu tiên là hỏi họ cấp một tài khoản thử nghiệm riêng cho smoke test, để SMOKE_TOKEN không phải mượn token của một người thật.

Bộ test này còn là công cụ giao tiếp. Khi khách hỏi “đã cài xong chưa”, bạn trả lời bằng ba dòng xanh và một exit code thay vì một câu “chắc là ổn”.

Khi đi phỏng vấn hoặc viết CV, hãy mô tả cụ thể: smoke test kiểm những đường nào, chạy ở bước nào của pipeline, và đã từng chặn được lỗi gì. Một mô tả như vậy cho thấy bạn kiểm chứng được sản phẩm đang thật sự chạy, chứ không dừng ở chỗ đã deploy xong.

Pipeline xanh cho biết bạn đã giao code tới nơi. Còn sản phẩm có chạy được trên hạ tầng của khách hay không thì ba test pytest kia mới trả lời được.

Bài này có hữu ích không?

Dùng cùng trợ lý AIHỏi Claude ↗Hỏi ChatGPT ↗
6 nguồn
Đọc tiếp trên lộ trình · Chặng 5: Triển khaiKhách không có Kubernetes, Docker Compose vẫn tự rollback bản lỗiMột health check, cờ --wait và một nhánh else trong deploy.sh đủ để đưa image cũ lên lại khi bản mới không khỏe kịp hạn.