一个 pcap 文件,判明是网络故障还是代码问题
在客户服务器上用 tcpdump 抓包,回本机用 Wireshark 打开,几个 SYN 包就能看出是哪一方的问题。
要点速览
- 应用日志只记录应用自认为发生了什么,pcap 文件记录的是线路上实际传输的内容。
- 合理的流程:在客户机器上用 tcpdump 加精确过滤条件和 -w 抓包,再在自己的机器上用 Wireshark 分析文件。
- 实际障碍在于权限:抓包可能需要特殊权限,要尽早申请。
SYN 包发出后如果没有应答,TCP 不会立即重发。RFC 6298 规定,重传前的初始等待时间为一秒。这个小细节一旦出现在 pcap 文件里,往往就足以结束一场拖了整个下午的会议。
每当部署在客户现场出问题,熟悉的争论就会再次上演。客户的基础设施团队说网络没问题,而你确信自己的代码是对的。应用日志只记录应用自认为发生了什么,抓包记录的则是线路上实际传输的内容。
两个工具,一种文件格式
tcpdump 是一款命令行抓包分析工具,与抓包库 libpcap 一同发布,两者均采用三条款 BSD 许可证。它很适合客户的 Linux 服务器,这类环境通常只有 SSH,没有图形界面。
Wireshark 项目始于 1998 年,自称是一款网络协议分析器,能让你在“微观”层面看清网络上发生了什么。它采用 GPLv2 许可证,支持 Windows、macOS、Linux 和 UNIX,用户指南把网络故障排查列为其主要用途之一。
两个工具通过 tcpdump 的 -w 参数衔接起来。根据 man 手册,该参数会把原始数据包写入文件,而不是解析后打印出来;Wireshark 可以打开 tcpdump 生成的文件。因此,合理的流程是在客户机器上抓包,在自己的机器上分析。
一个超时案例,从头到尾
举一个假设的例子。你的服务调用客户内部 API,地址 10.0.0.5,端口 8443,每隔几分钟就超时一次。你在运行该服务的机器上执行:
sudo tcpdump -i any -w timeout.pcap 'host 10.0.0.5 and tcp port 8443'
过滤条件采用 pcap-filter 语法,只保留两个可疑端点之间的流量。机器上的其他流量一概忽略,文件因此保持精简,客户也不必担心你顺带抓走了其他系统的数据。
-s 参数设置 snaplen,即每个数据包截取的字节数。当前 man 手册给出的默认值是 262144 字节,但要以客户机器上的 tcpdump 版本为准。如果客户担心敏感数据,不必等对方开口,主动提出把 snaplen 缩小到刚好够抓包头即可。
在 Wireshark 中打开 timeout.pcap。如果文件里仍有很多连接,在显示过滤器输入框中输入 ip.addr == 10.0.0.5 && tcp.port == 8443。这串表达式与传给 tcpdump 的过滤条件完全不同,因为两类过滤器使用各自独立的语法。
两种结果,两种处理方式
沿着时间列找到应用报告超时的时刻。假设在此之前,有三个完全相同的 SYN 包发往 10.0.0.5:8443,第一次重传距原始包约一秒,且 10.0.0.5 没有回任何包。这一秒的间隔与 RFC 6298 中的初始超时时间一致。
结论很简单:请求根本没有到达服务器。你的机器发出了请求,对端毫无回应,所以要排查的是客户一侧的防火墙或网络路径。
反过来,如果握手完成、服务器也很快回复,应用却仍然报超时,那么问题出在你的代码或客户端配置上,应当立即认领。一个愿意证明 bug 出在自己身上的前线部署工程师(FDE),下次说“是网络问题”时才会有人相信。
在客户现场抓包的三个常见错误
第一,把 Wireshark 显示过滤器粘贴到 tcpdump 里。Wireshark 的 FAQ 明确指出,抓包过滤器与显示过滤器的语法不同。抓包过滤器决定哪些包会被记录,被丢弃的包无法找回,所以抓包时只按主机和端口做适度过滤,细节留给 Wireshark。
第二,忘了权限问题。Wireshark 的 FAQ 提到,抓包可能需要用具备足够权限的账户运行。在客户那里,这通常意味着一张工单、一位审批人和几天的等待,所以要在第一周、还没出任何问题时就提出申请。
第三,依赖服务器私钥解密 TLS。Wireshark 的 TLS wiki 推荐通过 SSLKEYLOGFILE 使用密钥日志文件,并提醒 RSA 私钥方式不适用于 TLS 1.3。密钥日志能解开流量,因此要把它当作机密对待,并与客户约定由谁保管文件、何时删除。
一个小练习:pcap-filter 的 man 手册提供了按 TCP 标志位筛选数据包的语法,例如 'tcp[tcpflags] & (tcp-rst|tcp-ack) == (tcp-rst|tcp-ack)' 只抓取同时设置了 RST 和 ACK 的包。连接本机一个关闭的端口时用这个过滤条件抓包,再把结果与 SYN 无人应答的情况对比。
先学什么
从 tcpdump、-w 和 pcap-filter 语法学起,因为在别人的机器上,这一部分必须做对。接着在 Wireshark 里反复阅读 TCP 握手,直到一眼就能看出连接停在哪一步。TLS 解密放到最后。
简历上不要写含糊的“熟悉 Wireshark”,而要写类似这样的一句:“通过抓包定位超时的根因,证明故障出在客户防火墙”。招聘 FDE 的人看到这句话,会看到一位懂得用证据化解争论的工程师。
下次有人说“我们的网络没有任何问题”,你不必争辩,只需申请运行十分钟 tcpdump 的权限。
这篇文章对你有帮助吗?
感谢你的反馈!