使用tcpdump和wireshark抓包分析连接

/ icesky1stm

使用tcpdump和wireshark抓包分析连接

[TOC]

由于在压力测试过程中，两台机器通过本地网卡进行通讯，中间有0.5秒左右的延迟时间，无法定位是发送方、接收方、还是本地网卡的硬件问题，因此从网络层面，使用tcpdump工具对本地环路网卡lo进行抓包，并用wireshart进行分析。

一、工具准备

tcpdump是一个常用的网络抓包工具，centos的话yum可以直接安装，如果是mac使用brew也可以安装，其他如apt-get等自行安装，属于基础工具。

wireshark是一个图形化的抓包工具，也可以抓本地包的http包，也需要额外安装一些组件，我这里是mac版本，直接到官网下载安装即可：https://github.com/wireshark/wireshark (如果网络原因也没有代理的话，可以上gitee上搜索大家的镜像)。

二、基本命令

1. tcpdump的常用命令

  • 常用的选项
选项 示例 说明
-i tcpdump -i eth0 指定网络接口，比如lo、eth0等网卡，any代表所有
-w tcpdump -w xxx.pcap 保存抓包文件到xxx文件
-nn tcpdumo -nn 不解析IP地址和端口号的名称
-c tcpdump -c 10 限制抓取的网络包个数
host , src host, dst host tcpdump -nn host 192.167.0.0.1 过滤掉主机
port , src port ,dst port tcpdump -nn port 7077 端口过滤
ip, ip6, arp, tcp, udp, icmp tcpdump -nn tcp 192.167.0.0.1 协议过滤
and ,or , not tcpdump -nn host 192.167.0.0.1 and port 7077 逻辑表达式
tcp[tcoflages] tcpdump -nn "tcp[tcpflages]&tcp-syn!=0" 特定状态下的tcp包
  • 完整的命令例子
tcpdump -i lo0 -nn host 127.0.0.1 and port 8000 -v -w out.pcap
  • 全量的选项说明
-A 以ASCII格式打印出所有分组，并将链路层的头最小化。
-c 在收到指定的数量的分组后，tcpdump就会停止。
-C 在将一个原始分组写入文件之前，检查文件当前的大小是否超过了参数file_size 中指定的大小。如果超过了指定大小，则关闭当前文件，然后在打开一个新的文件。参数 file_size 的单位是兆字节（是1,000,000字节，而不是1,048,576字节）。
-d 将匹配信息包的代码以人们能够理解的汇编格式给出。
-dd 将匹配信息包的代码以c语言程序段的格式给出。
-ddd 将匹配信息包的代码以十进制的形式给出。
-D 打印出系统中所有可以用tcpdump截包的网络接口。
-e 在输出行打印出数据链路层的头部信息。
-E 用spi@ipaddr algo:secret解密那些以addr作为地址，并且包含了安全参数索引值spi的IPsec ESP分组。
-f 将外部的Internet地址以数字的形式打印出来。
-F 从指定的文件中读取表达式，忽略命令行中给出的表达式。
-i 指定监听的网络接口。
-l 使标准输出变为缓冲行形式，可以把数据导出到文件。
-L 列出网络接口的已知数据链路。
-m 从文件module中导入SMI MIB模块定义。该参数可以被使用多次，以导入多个MIB模块。
-M 如果tcp报文中存在TCP-MD5选项，则需要用secret作为共享的验证码用于验证TCP-MD5选选项摘要（详情可参考RFC 2385）。
-b 在数据-链路层上选择协议，包括ip、arp、rarp、ipx都是这一层的。
-n 不把网络地址转换成名字。
-nn 不进行端口名称的转换。
-N 不输出主机名中的域名部分。例如，‘nic.ddn.mil‘只输出’nic‘。
-t 在输出的每一行不打印时间戳。
-O 不运行分组分组匹配（packet-matching）代码优化程序。
-P 不将网络接口设置成混杂模式。
-q 快速输出。只输出较少的协议信息。
-r 从指定的文件中读取包(这些包一般通过-w选项产生)。
-S 将tcp的序列号以绝对值形式输出，而不是相对值。
-s 从每个分组中读取最开始的snaplen个字节，而不是默认的68个字节。
-T 将监听到的包直接解释为指定的类型的报文，常见的类型有rpc远程过程调用）和snmp（简单网络管理协议；）。
-t 不在每一行中输出时间戳。
-tt 在每一行中输出非格式化的时间戳。
-ttt 输出本行和前面一行之间的时间差。
-tttt 在每一行中输出由date处理的默认格式的时间戳。
-u 输出未解码的NFS句柄。
-v 输出一个稍微详细的信息，例如在ip包中可以包括ttl和服务类型的信息。
-vv 输出详细的报文信息。
-w 直接将分组写入文件中，而不是不分析并打印出来。

2. Wireshark

可以直接把tcpdump -w出来的文件，拖到wireshark中，如果想查找某一条报文，可以查找（放大镜），然后选Packet bytes，类型选String，然后搜索报文的流水号等唯一字段。

三、抓包执行

  1. 由于是抓环路网络，显示tcpdump本地网卡，具体命令如下：
sudo tcpdump -i lo0 host 127.0.0.1 and port 8000 -w out.pcap

我是用mac系统做的演示，真实环境在内网上， mac的本地环路网卡是lo0。

抓出来的包是一个out.pcap文件。

  1. 启动本地服务，我是启动了一个服务，监听本地8000端口，然后设置了一些睡眠参数来验证。具体的程序关键逻辑如下：
listen(8000);

while(1){
    sleep(10) //用来观察accept是否影响建立连接
    accept

    sleep(10)
    recv
    send
}

程序中加了很多的睡眠，主要是用来验证两个方面，一是accept是否影响connect，二是recv是否影响对方发送。

  1. 用telnet命令来发送一段字符串，验证抓包的情况：

    /Users/suitm/tmp/test>telnet 127.0.0.1 8000
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
AAAB
telnet> quit
Connection closed.
  2. 把out.pacp拖到wireshark中，内容如下：

image-20221213184251199

四、报文分析

看wireshark的结果分析来看，具体有如下几步：

  1. 建立连接的过程，主要是前四行:(SYN -SYN,ACK-ACK)
1   0.000000    127.0.0.1   127.0.0.1   TCP 68  61743 → 8000 [SYN] Seq=0 Win=65535 Len=0 MSS=16344 WS=64 TSval=301403014 TSecr=0 SACK_PERM
2   0.000166    127.0.0.1   127.0.0.1   TCP 68  8000 → 61743 [SYN, ACK] Seq=0 Ack=1 Win=65535 Len=0 MSS=16344 WS=64 TSval=3877038777 TSecr=301403014 SACK_PERM
3   0.000191    127.0.0.1   127.0.0.1   TCP 56  61743 → 8000 [ACK] Seq=1 Ack=1 Win=408256 Len=0 TSval=301403014 TSecr=3877038777
4   0.000200    127.0.0.1   127.0.0.1   TCP 56  [TCP Window Update] 8000 → 61743 [ACK] Seq=1 Ack=1 Win=408256 Len=0 TSval=3877038777 TSecr=301403014
  1. 发送AAAB的消息过去，一共两行（PSH-ACK）
5   3.638258    127.0.0.1   127.0.0.1   TCP 62  61743 → 8000 [PSH, ACK] Seq=1 Ack=1 Win=408256 Len=6 TSval=301406653 TSecr=3877038777
6   3.638348    127.0.0.1   127.0.0.1   TCP 56  8000 → 61743 [ACK] Seq=1 Ack=7 Win=408256 Len=0 TSval=3877042416 TSecr=301406653
  1. 接收返回的SUCCESS，也是一共两行（PSH-ACK）
7   16.209803   127.0.0.1   127.0.0.1   TCP 63  8000 → 61743 [PSH, ACK] Seq=1 Ack=7 Win=408256 Len=7 TSval=3877054987 TSecr=301406653
8   16.209909   127.0.0.1   127.0.0.1   TCP 56  61743 → 8000 [ACK] Seq=7 Ack=8 Win=408256 Len=0 TSval=301419224 TSecr=3877054987
  1. 发送了一个回车，所以也是两行(PSH-ACK) 
9   31.861958   127.0.0.1   127.0.0.1   TCP 61  61743 → 8000 [PSH, ACK] Seq=7 Ack=8 Win=408256 Len=5 TSval=301434872 TSecr=3877054987
10  31.862083   127.0.0.1   127.0.0.1   TCP 56  8000 → 61743 [ACK] Seq=8 Ack=12 Win=408256 Len=0 TSval=3877070640 TSecr=301434872
  1. 客户端关闭，所以收到FIN，因为服务端也关闭了，所有四次回首，只收到两次，另外是RST的失败。 
11  33.937666   127.0.0.1   127.0.0.1   TCP 56  61743 → 8000 [FIN, ACK] Seq=12 Ack=8 Win=408256 Len=0 TSval=301436953 TSecr=3877070640
12  33.937768   127.0.0.1   127.0.0.1   TCP 56  8000 → 61743 [ACK] Seq=8 Ack=13 Win=408256 Len=0 TSval=3877072716 TSecr=301436953
13  93.963635   127.0.0.1   127.0.0.1   TCP 44  61743 → 8000 [RST, ACK] Seq=13 Ack=8 Win=408256 Len=0

五、分析总结

  1. connect，也就是tcp的三次握手，跟accept毫无关系，只要listen端口的时候，就可以完成三次握手后的建立。
  2. 对方发送过来，只要有listen在，数据就会放到缓存中，与是否accept和recv无关，也与recv几次无关。
/Users/suitm/tmp/test>netstat -an|grep -E '8000|Recv-Q'
Proto Recv-Q Send-Q  Local Address          Foreign Address        (state)
tcp4       6      0  127.0.0.1.8000         127.0.0.1.64274        ESTABLISHED
tcp4       0      0  127.0.0.1.64274        127.0.0.1.8000         ESTABLISHED
tcp4       0      0  127.0.0.1.8000         *.*                    LISTEN
Address          Type   Recv-Q Send-Q            Inode             Conn             Refs          Nextref Addr
Proto Recv-Q Send-Q vendor  class  subcl
Proto Recv-Q Send-Q   unit     id name
  1. 使用netstat -an命令可以查看连接的堆积队列数量。