Dữ liệu FDE TimesViệc làm FDE đang mở 924▲33 Thay đổi số việc đang mở trong 7 ngày, so sánh cùng phạm vi: không tính việc của các công ty mới được theo dõi tuần nàyMới trong 7 ngày 80Công ty đang tuyển 196Nhận làm từ xa 25%Lương trung vị (Mỹ) $200kTuyển nhiều nhất Databricks 107
中文EN

Tờ báo của nghề Forward Deployed Engineer

Bách khoa

Script báo 'Backup OK' mỗi đêm, đến ngày khôi phục thì file rỗng

Bốn dòng trong một script bàn giao điển hình hỏng mà không báo lỗi, từ lệnh cd vào thư mục chưa mount đến rm -rf có thể xóa sạch thư mục gốc.

Chia sẻLinkedInFacebookX

Tóm tắt nhanh

  • Không có pipefail, lệnh đầu pipeline lỗi vẫn bị bỏ qua: pg_dump hỏng nhưng gzip vẫn tạo file và trả mã 0.
  • set -e chỉ là lưới an toàn: nó không kích hoạt trong if hay trong danh sách && hoặc ||, và gọi hàm trong điều kiện là một cái bẫy đã được cảnh báo.
  • ShellCheck trả mã thoát theo quy ước chuẩn nên gắn được vào CI, bắt lỗi thiếu dấu nháy, rm -rf trên biến rỗng và cd thất bại.
Bốn lớp xếp chồng của một script bash phòng thủ. Từ dưới lên: 1, set -euo pipefail, là lưới an toàn chứ không phải bảo hiểm; 2, kiểm tra tường minh bằng ${var:?} và || exit, được tô màu cam để nhấn mạnh; 3, mktemp + trap, ghi vào file tạm rồi mới mv; 4, ShellCheck trong CI, báo đỏ khi có cảnh báo.
set -e có nhiều chỗ không kích hoạt, nên lớp quyết định là kiểm tra tường minh ở mọi bước có thể phá dữ liệu. Nguồn: Bash Reference Manual, BashFAQ/105 và wiki ShellCheck, theo bài viết.

Thử hình dung tuần thứ ba của một đợt deployment. Bạn để lại cho đội vận hành của khách một script backup chạy bằng cron mỗi đêm, và sáng nào log cũng ghi “Backup OK”. Đến ngày cần khôi phục, họ mở file nén ra thì thấy nó rỗng.

Script không hề crash. Nó chỉ lặng lẽ chạy tiếp sau khi một bước đã hỏng, và đó là thứ đáng sợ nhất trong bash. Với FDE, script bàn giao sẽ chạy rất lâu sau khi bạn rời đi, trên máy bạn không quản lý, với dữ liệu bạn chưa từng thấy.

Vì thế kỹ năng cần có ở đây không phải viết bash cho hay. Bạn cần viết bash biết dừng lại và báo lỗi thật rõ ngay khi có gì đó sai, thay vì đi tiếp trên một trạng thái đã hỏng.

Script này hỏng ở bốn chỗ, nhưng không chỗ nào báo lỗi

Đây là phiên bản “chạy ngon trên laptop” mà ai cũng từng viết:

#!/bin/bash
BACKUP_DIR=/data/backups
cd $BACKUP_DIR
rm -rf $STAGING_DIR/*
pg_dump "$DB_URL" | gzip > nightly.sql.gz
echo "Backup OK"

Dòng 3 là chỗ hỏng đầu tiên. Nếu /data/backups chưa được mount, cd thất bại nhưng script vẫn chạy tiếp. Wiki của ShellCheck (mã SC2164) cảnh báo đúng tình huống này: mọi thao tác sau đó diễn ra ở sai thư mục.

Dòng 4 nguy hiểm hơn. Cron của khách thường không nạp biến môi trường như shell của bạn, nên STAGING_DIR có thể rỗng. Khi đó lệnh thành rm -rf /*, và wiki SC2115 nói thẳng là nó sẽ xóa mọi thứ dưới thư mục gốc.

Biến không có dấu nháy còn vướng SC2086: tên file có khoảng trắng hoặc ký tự glob, chuyện rất thường gặp ở dữ liệu khách, sẽ làm script hỏng.

Dòng 5 chính là lý do file backup rỗng. Nếu pg_dump lỗi vì sai mật khẩu, gzip vẫn nén một luồng rỗng và thoát với mã 0. Mã trả về của cả pipeline là của lệnh cuối, nên dòng 6 vẫn in “Backup OK”.

Ba tùy chọn ở đầu file làm gì, và không làm gì

Dòng phòng thủ đầu tiên là set -euo pipefail. Theo Bash Reference Manual, -e (errexit) khiến shell thoát khi một pipeline, danh sách hay lệnh ghép trả về mã khác 0. -u biến việc dùng biến chưa đặt thành lỗi, ghi ra stderr, và shell không tương tác sẽ thoát, nhờ vậy lỗi gõ nhầm tên biến bị bắt ngay.

pipefail sửa đúng lỗi ở dòng 5. Manual ghi rõ tùy chọn này tắt theo mặc định. Khi bật, mã trả về của pipeline là mã của lệnh cuối cùng (bên phải nhất) thoát với trạng thái khác 0; không có nó, set -e bỏ qua lỗi ở mọi lệnh trong pipeline trừ lệnh cuối.

Nhưng ba tùy chọn này không phải tấm bảo hiểm. Cũng manual đó liệt kê những chỗ set -e không kích hoạt: trong phép kiểm tra của if, và trong danh sách && hoặc ||, trừ lệnh đứng sau && hoặc || cuối cùng. BashFAQ/105 trên Wooledge nhận xét các luật này cực kỳ rối, và chúng thay đổi giữa các phiên bản Bash.

FAQ đó còn gọi tên một cái bẫy đặc biệt nguy hiểm: kết hợp set -e với hàm được gọi trong câu điều kiện. Một script bọc toàn bộ logic chính trong if run_backup; then ... là đúng kiểu dễ sập bẫy này, nên đừng trông cậy vào errexit để bảo vệ những gì diễn ra bên trong hàm.

Lời khuyên riêng của tác giả FAQ là xử lý lỗi tử tế và đừng dựa vào một set -e vốn không đáng tin.

Viết lại để mỗi bước hỏng đều lên tiếng

Cách làm đúng là dùng set -euo pipefail làm lưới an toàn, rồi kiểm tra tường minh ở mọi bước có thể phá dữ liệu:

#!/usr/bin/env bash
set -euo pipefail

: "${DB_URL:?DB_URL is not set}"
: "${STAGING_DIR:?STAGING_DIR is not set}"
BACKUP_DIR="/data/backups"

cd "$BACKUP_DIR" || { echo "cannot cd to $BACKUP_DIR" >&2; exit 1; }

tmp="$(mktemp "$BACKUP_DIR/nightly.XXXXXX")"
trap 'rm -f "$tmp"' EXIT

rm -rf "${STAGING_DIR:?}"/*

if ! pg_dump "$DB_URL" | gzip > "$tmp"; then
  echo "pg_dump failed, keeping previous backup" >&2
  exit 1
fi

mv "$tmp" nightly.sql.gz
echo "Backup OK"

Hai dòng : ở đầu kiểm tra biến cấu hình ngay khi khởi động. Thiếu DB_URL thì script dừng với một thông báo đội vận hành đọc là hiểu, chứ không chết giữa chừng. ${STAGING_DIR:?} trong lệnh rm là cách sửa SC2115 khuyên dùng: biến rỗng thì lệnh thất bại, không bao giờ bị khai triển thành /*.

cd ... || exit là cách sửa của SC2164. Bạn viết nó tường minh dù đã có set -e, vì bạn không muốn tính an toàn phụ thuộc vào những luật rối kể trên.

Phần ghi file là chỗ người ta hay bỏ qua. Dữ liệu được ghi vào file tạm tạo bằng mktemp, và chỉ khi pipeline thành công mới mv đè lên bản cũ.

BashFAQ/062 nhấn mạnh rằng công cụ phải thật sự tạo file một cách nguyên tử, chứ không chỉ đưa bạn một cái tên chưa dùng, và mktemp làm đúng điều đó. Tạo file tạm ngay trong thư mục đích giúp mv diễn ra trong cùng một filesystem.

trap '...' EXIT dọn file tạm dù script kết thúc theo cách nào. Khi pg_dump lỗi, bản backup đêm qua vẫn nguyên vẹn, không có rác nằm lại, và cron nhận mã thoát 1 để cảnh báo. Lưu ý if ! tắt errexit cho pipeline đó, nên ở đây kiểm tra tường minh là bắt buộc chứ không phải để cho đẹp.

Để ShellCheck đọc trước khi khách đọc

Dù cẩn thận đến đâu, bạn vẫn sẽ quên một dấu nháy. ShellCheck là công cụ phân tích tĩnh cho script bash/sh. Nó dùng mã thoát theo đúng quy ước, nên chỉ cần thêm lệnh shellcheck vào quy trình là CI sẽ báo đỏ khi có cảnh báo.

Chạy shellcheck backup.sh trên phiên bản cũ, bạn sẽ thấy cảnh báo hiện ra ở đúng những dòng vừa phân tích, như SC2086 cho biến thiếu dấu nháy và SC2164 cho lệnh cd không kiểm tra.

Mỗi mã có một trang wiki giải thích lý do và cách sửa, và đọc các trang đó, kể cả SC2115 về rm -rf trên biến rỗng, là cách nhanh nhất để học bash phòng thủ.

Quy trình nên làm với mọi script trước khi bàn giao gồm bốn bước, khớp với bốn lớp ở hình đầu bài. Mở đầu bằng set -euo pipefail. Sau đó kiểm tra tường minh: ${var:?message} cho mọi biến cấu hình ở đầu file, và || exit cho cd cùng mọi lệnh mà thất bại sẽ làm hỏng bước sau.

Bước thứ ba là ghi vào file tạm rồi đổi tên, với trap dọn dẹp. Cuối cùng, chạy ShellCheck trong CI của repo bàn giao.

Những lỗi khiến script “an toàn” vẫn phá dữ liệu

Lỗi phổ biến nhất là tin set -e tuyệt đối rồi bọc logic chính trong một hàm gọi từ if, đúng cái bẫy BashFAQ/105 cảnh báo. Nếu cần rẽ nhánh theo kết quả của một hàm, hãy kiểm tra lỗi bên trong hàm bằng || return 1.

Một lỗi khác là chỉ test trên máy của bạn, nơi mọi biến môi trường đã có sẵn. Hãy chạy thử với env -i bash backup.sh để giả lập môi trường trống như cron. Cũng đừng tắt cảnh báo ShellCheck cho xong việc thay vì đọc wiki và sửa.

Về sự nghiệp, chi tiết này đáng ghi vào CV hay portfolio: “script bàn giao có ShellCheck trong CI, thất bại có mã thoát rõ ràng, không ghi đè dữ liệu khi lỗi”.

Khi phỏng vấn cho vai trò FDE, nếu có dịp kể cách bạn giữ cho thứ mình để lại không hỏng sau khi rời đi, hãy dẫn chứng bằng sản phẩm. Một repo nhỏ có đủ hai phiên bản script ở trên, kèm commit sửa từng cảnh báo, cụ thể hơn mọi lời tự giới thiệu.

Bài tập cho tuần này

Lấy một script bạn từng bàn giao, xóa một biến cấu hình, làm cho lệnh đầu của một pipeline thất bại, rồi chạy lại. Nếu log vẫn in thành công, khách của bạn đang tin vào một dòng chữ không đúng sự thật.

Bài này có hữu ích không?

Dùng cùng trợ lý AIHỏi Claude ↗Hỏi ChatGPT ↗
7 nguồn
Đọc tiếp trên lộ trình · Chặng 1: Nền tảngKhách hỏi FDE là ai: câu trả lời nên gói gọn trong một trangMột câu nói rõ vai trò, một danh sách việc không làm và một lần khách xác nhận sẽ chặn scope creep từ sớm.