FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

工具

一个 pcap 文件,判明是网络故障还是代码问题

在客户服务器上用 tcpdump 抓包,回本机用 Wireshark 打开,几个 SYN 包就能看出是哪一方的问题。

分享微博

要点速览

  • 应用日志只记录应用自认为发生了什么,pcap 文件记录的是线路上实际传输的内容。
  • 合理的流程:在客户机器上用 tcpdump 加精确过滤条件和 -w 抓包,再在自己的机器上用 Wireshark 分析文件。
  • 实际障碍在于权限:抓包可能需要特殊权限,要尽早申请。
决策树:应用报告超时,接着判断 SYN 包是否得到应答。若没有,说明请求未到达服务器,应检查防火墙和客户一侧的网络(橙色高亮);若有且服务器快速回复,说明故障在客户端代码或配置,团队应立即认领该 bug。
在文中假设的超时案例里,pcap 文件显示出连接停滞在哪一步。无论走向哪个分支,都能得出有用的结论。

SYN 包发出后如果没有应答,TCP 不会立即重发。RFC 6298 规定,重传前的初始等待时间为一秒。这个小细节一旦出现在 pcap 文件里,往往就足以结束一场拖了整个下午的会议。

每当部署在客户现场出问题,熟悉的争论就会再次上演。客户的基础设施团队说网络没问题,而你确信自己的代码是对的。应用日志只记录应用自认为发生了什么,抓包记录的则是线路上实际传输的内容。

两个工具,一种文件格式

tcpdump 是一款命令行抓包分析工具,与抓包库 libpcap 一同发布,两者均采用三条款 BSD 许可证。它很适合客户的 Linux 服务器,这类环境通常只有 SSH,没有图形界面。

Wireshark 项目始于 1998 年,自称是一款网络协议分析器,能让你在“微观”层面看清网络上发生了什么。它采用 GPLv2 许可证,支持 Windows、macOS、Linux 和 UNIX,用户指南把网络故障排查列为其主要用途之一。

两个工具通过 tcpdump 的 -w 参数衔接起来。根据 man 手册,该参数会把原始数据包写入文件,而不是解析后打印出来;Wireshark 可以打开 tcpdump 生成的文件。因此,合理的流程是在客户机器上抓包,在自己的机器上分析。

一个超时案例,从头到尾

举一个假设的例子。你的服务调用客户内部 API,地址 10.0.0.5,端口 8443,每隔几分钟就超时一次。你在运行该服务的机器上执行:

sudo tcpdump -i any -w timeout.pcap 'host 10.0.0.5 and tcp port 8443'

过滤条件采用 pcap-filter 语法,只保留两个可疑端点之间的流量。机器上的其他流量一概忽略,文件因此保持精简,客户也不必担心你顺带抓走了其他系统的数据。

-s 参数设置 snaplen,即每个数据包截取的字节数。当前 man 手册给出的默认值是 262144 字节,但要以客户机器上的 tcpdump 版本为准。如果客户担心敏感数据,不必等对方开口,主动提出把 snaplen 缩小到刚好够抓包头即可。

在 Wireshark 中打开 timeout.pcap。如果文件里仍有很多连接,在显示过滤器输入框中输入 ip.addr == 10.0.0.5 && tcp.port == 8443。这串表达式与传给 tcpdump 的过滤条件完全不同,因为两类过滤器使用各自独立的语法。

两种结果,两种处理方式

沿着时间列找到应用报告超时的时刻。假设在此之前,有三个完全相同的 SYN 包发往 10.0.0.5:8443,第一次重传距原始包约一秒,且 10.0.0.5 没有回任何包。这一秒的间隔与 RFC 6298 中的初始超时时间一致。

结论很简单:请求根本没有到达服务器。你的机器发出了请求,对端毫无回应,所以要排查的是客户一侧的防火墙或网络路径。

反过来,如果握手完成、服务器也很快回复,应用却仍然报超时,那么问题出在你的代码或客户端配置上,应当立即认领。一个愿意证明 bug 出在自己身上的前线部署工程师(FDE),下次说“是网络问题”时才会有人相信。

在客户现场抓包的三个常见错误

第一,把 Wireshark 显示过滤器粘贴到 tcpdump 里。Wireshark 的 FAQ 明确指出,抓包过滤器与显示过滤器的语法不同。抓包过滤器决定哪些包会被记录,被丢弃的包无法找回,所以抓包时只按主机和端口做适度过滤,细节留给 Wireshark。

第二,忘了权限问题。Wireshark 的 FAQ 提到,抓包可能需要用具备足够权限的账户运行。在客户那里,这通常意味着一张工单、一位审批人和几天的等待,所以要在第一周、还没出任何问题时就提出申请。

第三,依赖服务器私钥解密 TLS。Wireshark 的 TLS wiki 推荐通过 SSLKEYLOGFILE 使用密钥日志文件,并提醒 RSA 私钥方式不适用于 TLS 1.3。密钥日志能解开流量,因此要把它当作机密对待,并与客户约定由谁保管文件、何时删除。

一个小练习:pcap-filter 的 man 手册提供了按 TCP 标志位筛选数据包的语法,例如 'tcp[tcpflags] & (tcp-rst|tcp-ack) == (tcp-rst|tcp-ack)' 只抓取同时设置了 RST 和 ACK 的包。连接本机一个关闭的端口时用这个过滤条件抓包,再把结果与 SYN 无人应答的情况对比。

先学什么

从 tcpdump、-w 和 pcap-filter 语法学起,因为在别人的机器上,这一部分必须做对。接着在 Wireshark 里反复阅读 TCP 握手,直到一眼就能看出连接停在哪一步。TLS 解密放到最后。

简历上不要写含糊的“熟悉 Wireshark”,而要写类似这样的一句:“通过抓包定位超时的根因,证明故障出在客户防火墙”。招聘 FDE 的人看到这句话,会看到一位懂得用证据化解争论的工程师。

下次有人说“我们的网络没有任何问题”,你不必争辩,只需申请运行十分钟 tcpdump 的权限。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 5: 部署上线Caddy 两行配置上 HTTPS,客户网络却常让它失灵会前先问清哪些端口开放、证书由谁签发、哪些机器会信任它,否则浏览器警告会当场弹出。