Dữ liệu FDE TimesViệc làm FDE đang mở 924▲33 Thay đổi số việc đang mở trong 7 ngày, so sánh cùng phạm vi: không tính việc của các công ty mới được theo dõi tuần nàyMới trong 7 ngày 80Công ty đang tuyển 196Nhận làm từ xa 25%Lương trung vị (Mỹ) $200kTuyển nhiều nhất Databricks 107
中文EN

Tờ báo của nghề Forward Deployed Engineer

Công cụ

Một file pcap kết thúc cuộc tranh cãi lỗi do mạng hay do code

Bắt gói bằng tcpdump trên máy khách, mở bằng Wireshark trên máy bạn, rồi để vài gói SYN cho biết bên nào sai.

Chia sẻLinkedInFacebookX

Tóm tắt nhanh

  • Log ứng dụng chỉ ghi điều ứng dụng nghĩ đã xảy ra, còn file pcap ghi những gì thật sự đi trên đường truyền.
  • Quy trình hợp lý: tcpdump với bộ lọc hẹp và -w trên máy khách, rồi phân tích file trong Wireshark trên máy bạn.
  • Rào cản thực tế là quyền truy cập: bắt gói có thể cần quyền đặc biệt, nên hãy xin từ sớm.
Cây quyết định: ứng dụng báo timeout, hỏi gói SYN có được trả lời không. Nếu không, request chưa tới server, cần xem firewall và mạng phía khách (được tô màu cam). Nếu có và server trả lời nhanh, lỗi nằm ở code hoặc cấu hình client, nên nhận lỗi ngay.
Trong ca timeout giả định của bài, file pcap cho thấy kết nối dừng ở bước nào. Nhánh nào cũng là một kết luận có giá trị.

Khi một gói SYN không được trả lời, TCP không gửi lại ngay. RFC 6298 quy định thời gian chờ ban đầu trước khi truyền lại là một giây. Chi tiết nhỏ ấy, khi hiện ra trong một file pcap, thường đủ để kết thúc một cuộc họp kéo dài cả buổi.

Mỗi lần deployment hỏng ở chỗ khách, cuộc tranh luận quen thuộc lại bắt đầu. Đội hạ tầng của khách nói mạng ổn, còn bạn tin code của mình đúng. Log ứng dụng chỉ ghi điều ứng dụng nghĩ là đã xảy ra, trong khi file bắt gói tin ghi những gì thật sự đi qua đường truyền.

Hai công cụ, chung một định dạng file

tcpdump là trình phân tích gói tin chạy trên dòng lệnh, đi cùng libpcap là thư viện bắt gói, cả hai đều theo giấy phép BSD 3 điều khoản. Nó rất hợp với máy chủ Linux của khách, nơi bạn thường chỉ có SSH và không có màn hình.

Wireshark, dự án có từ năm 1998, tự mô tả là trình phân tích giao thức mạng cho bạn thấy chuyện gì đang diễn ra trên mạng ở mức “vi mô”. Nó phát hành theo GPLv2, chạy trên Windows, macOS, Linux và UNIX, và hướng dẫn sử dụng của nó ghi rõ xử lý sự cố mạng là một trong những công dụng chính.

Hai công cụ ăn khớp với nhau nhờ cờ -w của tcpdump. Theo man page, cờ này ghi gói tin thô ra file thay vì phân tích rồi in ra màn hình, và Wireshark mở được file do tcpdump tạo ra. Cách làm hợp lý vì thế là bắt trên máy khách, đọc trên máy bạn.

Một ca timeout, đi từ đầu đến cuối

Lấy một ví dụ giả định. Service của bạn gọi một API nội bộ của khách ở 10.0.0.5, cổng 8443, và cứ vài phút lại timeout một lần. Bạn chạy lệnh sau trên chính máy đang chạy service:

sudo tcpdump -i any -w timeout.pcap 'host 10.0.0.5 and tcp port 8443'

Bộ lọc này viết theo cú pháp pcap-filter và chỉ giữ lưu lượng giữa hai đầu đang bị nghi. Mọi thứ khác trên máy bị bỏ qua, nên file nhỏ và khách cũng bớt lo bạn thu nhầm dữ liệu của hệ thống khác.

Cờ -s đặt snaplen, tức số byte lấy từ mỗi gói. Man page hiện ghi mặc định là 262144 byte, nhưng hãy kiểm tra lại với phiên bản tcpdump trên máy khách. Nếu khách lo dữ liệu nhạy cảm, đề nghị giảm snaplen xuống đủ phần header trước khi họ kịp hỏi.

Mở timeout.pcap trong Wireshark. Nếu file còn lẫn nhiều kết nối, gõ vào ô display filter ip.addr == 10.0.0.5 && tcp.port == 8443. Chuỗi này viết khác hẳn bộ lọc đã đưa cho tcpdump, vì hai loại bộ lọc dùng hai cú pháp riêng.

Hai kiểu kết quả, hai hướng xử lý

Lần theo cột thời gian tới đúng lúc ứng dụng báo timeout. Giả sử ngay trước đó có ba gói SYN giống nhau gửi tới 10.0.0.5:8443, lần gửi lại đầu tiên cách khoảng một giây, và không có gói nào từ 10.0.0.5 quay về. Khoảng một giây ấy khớp với thời gian chờ ban đầu trong RFC 6298.

Đọc ra thì đơn giản: request chưa bao giờ tới được server. Máy bạn đã gửi đi, phía bên kia im lặng, nên chỗ cần xem là firewall hoặc đường mạng phía khách.

Ngược lại, nếu handshake hoàn tất, server trả lời nhanh mà ứng dụng vẫn báo timeout, thì lỗi nằm ở code hoặc cấu hình client của bạn, và bạn nên nhận ngay. Một FDE dám chứng minh lỗi là của mình sẽ được tin hơn ở lần sau, khi nói lỗi nằm ở mạng.

Ba lỗi hay gặp khi bắt gói ở chỗ khách

Lỗi đầu tiên là dán display filter của Wireshark vào tcpdump. FAQ của Wireshark nói rõ capture filter đang dùng cú pháp khác display filter. Capture filter quyết định gói nào được ghi lại, còn gói đã bị loại thì không lấy lại được, nên lúc bắt hãy lọc rộng vừa đủ theo host và port, phần chi tiết để Wireshark lo.

Lỗi thứ hai là quên chuyện quyền. FAQ của Wireshark lưu ý bạn có thể phải chạy từ một tài khoản đủ quyền mới bắt được gói. Ở khách hàng, chuyện đó thường đồng nghĩa với một ticket, một người phê duyệt và vài ngày chờ, nên hãy xin ngay tuần đầu, khi chưa có sự cố nào.

Lỗi thứ ba là trông vào private key của server để giải mã TLS. Wiki TLS của Wireshark khuyên dùng key log file qua SSLKEYLOGFILE và cảnh báo cách dùng RSA private key không chạy với TLS 1.3. Key log mở khóa được lưu lượng, nên hãy coi nó như một secret và thỏa thuận với khách ai giữ file, khi nào xóa.

Một bài tập nhỏ để luyện tay: man page pcap-filter có cú pháp chọn gói theo cờ TCP, ví dụ 'tcp[tcpflags] & (tcp-rst|tcp-ack) == (tcp-rst|tcp-ack)' để chỉ lấy gói có cả RST lẫn ACK. Hãy bắt bằng bộ lọc này trong lúc gọi tới một cổng đóng trên máy của chính bạn, rồi so với trường hợp SYN không ai trả lời.

Học gì trước

Bắt đầu với tcpdump, -w và cú pháp pcap-filter, vì đó là phần bạn phải làm đúng trên máy người khác. Tiếp theo, đọc TCP handshake trong Wireshark cho tới khi nhìn qua là biết kết nối dừng ở bước nào. Giải mã TLS để sau cùng.

Trên CV, đừng ghi chung chung “biết Wireshark”. Hãy viết một dòng như “xác định root cause lỗi timeout bằng packet capture, chứng minh lỗi nằm ở firewall phía khách”. Người tuyển FDE đọc dòng đó sẽ thấy một kỹ sư biết dùng bằng chứng để tháo ngòi tranh cãi.

Lần tới có ai nói “mạng bên tôi không có vấn đề gì”, bạn không cần cãi. Bạn chỉ cần xin quyền chạy tcpdump trong mười phút.

Bài này có hữu ích không?

Dùng cùng trợ lý AIHỏi Claude ↗Hỏi ChatGPT ↗
8 nguồn
Đọc tiếp trên lộ trình · Chặng 5: Triển khaiCaddy đưa bản demo lên HTTPS bằng hai dòng, mạng của khách mới là rủi roTrước buổi họp, hãy biết cổng nào đang mở, chứng chỉ do ai cấp và máy nào sẽ tin nó, để trình duyệt khỏi báo lỗi trước mặt khách.