首先,这是一个未完成的测试。

新闻上大家都知道,Nginx从1.5.8开始支持fastopen参数,Linux从3.5开始支持fastopen特性,并在3.10开始默认开启。

httping是一个模拟ping输出的http请求客户端。从1.5开始支持发送fastopen请求,目前版本是2.3.4。

我在 fedora 20 (内核3.13版) 上编译了 nginx 1.5.13,yum 安装了 httping 2.3.3版。

开两个终端,一个运行tcpdump,然后另一个运行httping如下:

httping -F -g http://www.google.com.hk/url -c 1

这时候看到前一个终端的输出是这样的:

[chenlin.rao@com21-100 tfo]$ sudo tcpdump -i p5p1 -vvnxXs 0 tcp port 80
tcpdump: listening on p5p1, link-type EN10MB (Ethernet), capture size 65535 bytes
20:40:15.034486 IP (tos 0x0, ttl 64, id 52862, offset 0, flags [DF], proto TCP (6), length 147)
    10.2.5.100.40699 > 74.125.128.199.http: Flags [S], cksum 0xbb34 (correct), seq 3616187260:3616187335, win 29200, options [mss 1460,sackOK,TS val 31091970 ecr 0,nop,wscale 7,exp-tfo cookie 9a8e5a15f1deab96], length 75
	0x0000:  4500 0093 ce7e 4000 4006 913c 0a02 0564  E....~@.@..<...d
	0x0010:  4a7d 80c7 9efb 0050 d78a a37c 0000 0000  J}.....P...|....
	0x0020:  d002 7210 bb34 0000 0204 05b4 0402 080a  ..r..4..........
	0x0030:  01da 6d02 0000 0000 0103 0307 fe0c f989  ..m.............
	0x0040:  9a8e 5a15 f1de ab96 4845 4144 202f 7572  ..Z.....HEAD./ur
	0x0050:  6c20 4854 5450 2f31 2e30 0d0a 486f 7374  l.HTTP/1.0..Host
	0x0060:  3a20 7777 772e 676f 6f67 6c65 2e63 6f6d  :.www.google.com
	0x0070:  2e68 6b0d 0a55 7365 722d 4167 656e 743a  .hk..User-Agent:
	0x0080:  2048 5454 5069 6e67 2076 322e 332e 330d  .HTTPing.v2.3.3.
	0x0090:  0a0d 0a                                  ...
20:40:15.295644 IP (tos 0x0, ttl 30, id 42640, offset 0, flags [none], proto TCP (6), length 52)
    74.125.128.199.http > 10.2.5.100.40699: Flags [S.], cksum 0x71c1 (correct), seq 1878126810, ack 3616187261, win 42900, options [mss 1430,nop,nop,sackOK,nop,wscale 6], length 0
	0x0000:  4500 0034 a690 0000 1e06 1b8a 4a7d 80c7  E..4........J}..
	0x0010:  0a02 0564 0050 9efb 6ff1 f0da d78a a37d  ...d.P..o......}
	0x0020:  8012 a794 71c1 0000 0204 0596 0101 0402  ....q...........
	0x0030:  0103 0306                                ....
20:40:15.295694 IP (tos 0x0, ttl 64, id 52863, offset 0, flags [DF], proto TCP (6), length 115)
    10.2.5.100.40699 > 74.125.128.199.http: Flags [P.], cksum 0x5bf7 (correct), seq 1:76, ack 1, win 229, length 75
	0x0000:  4500 0073 ce7f 4000 4006 915b 0a02 0564  E..s..@.@..[...d
	0x0010:  4a7d 80c7 9efb 0050 d78a a37d 6ff1 f0db  J}.....P...}o...
	0x0020:  5018 00e5 5bf7 0000 4845 4144 202f 7572  P...[...HEAD./ur
	0x0030:  6c20 4854 5450 2f31 2e30 0d0a 486f 7374  l.HTTP/1.0..Host
	0x0040:  3a20 7777 772e 676f 6f67 6c65 2e63 6f6d  :.www.google.com
	0x0050:  2e68 6b0d 0a55 7365 722d 4167 656e 743a  .hk..User-Agent:
	0x0060:  2048 5454 5069 6e67 2076 322e 332e 330d  .HTTPing.v2.3.3.
	0x0070:  0a0d 0a                                  ...
20:40:15.560807 IP (tos 0x0, ttl 30, id 42641, offset 0, flags [none], proto TCP (6), length 40)
    74.125.128.199.http > 10.2.5.100.40699: Flags [.], cksum 0x5720 (correct), seq 1, ack 76, win 670, length 0
	0x0000:  4500 0028 a691 0000 1e06 1b95 4a7d 80c7  E..(........J}..
	0x0010:  0a02 0564 0050 9efb 6ff1 f0db d78a a3c8  ...d.P..o.......
	0x0020:  5010 029e 5720 0000 0000 0000 0000       P...W.........
20:40:15.568068 IP (tos 0x0, ttl 30, id 42642, offset 0, flags [none], proto TCP (6), length 269)
    74.125.128.199.http > 10.2.5.100.40699: Flags [P.], cksum 0x85ae (correct), seq 1:230, ack 76, win 670, length 229
	0x0000:  4500 010d a692 0000 1e06 1aaf 4a7d 80c7  E...........J}..
	0x0010:  0a02 0564 0050 9efb 6ff1 f0db d78a a3c8  ...d.P..o.......
	0x0020:  5018 029e 85ae 0000 4854 5450 2f31 2e30  P.......HTTP/1.0
	0x0030:  2034 3034 204e 6f74 2046 6f75 6e64 0d0a  .404.Not.Found..
	0x0040:  436f 6e74 656e 742d 5479 7065 3a20 7465  Content-Type:.te
	0x0050:  7874 2f68 746d 6c3b 2063 6861 7273 6574  xt/html;.charset
	0x0060:  3d55 5446 2d38 0d0a 4461 7465 3a20 5765  =UTF-8..Date:.We
	0x0070:  642c 2031 3620 4170 7220 3230 3134 2031  d,.16.Apr.2014.1
	0x0080:  323a 3430 3a31 3520 474d 540d 0a53 6572  2:40:15.GMT..Ser
	0x0090:  7665 723a 2067 7773 0d0a 436f 6e74 656e  ver:.gws..Conten
	0x00a0:  742d 4c65 6e67 7468 3a20 3134 3238 0d0a  t-Length:.1428..
	0x00b0:  582d 5853 532d 5072 6f74 6563 7469 6f6e  X-XSS-Protection
	0x00c0:  3a20 313b 206d 6f64 653d 626c 6f63 6b0d  :.1;.mode=block.
	0x00d0:  0a58 2d46 7261 6d65 2d4f 7074 696f 6e73  .X-Frame-Options
	0x00e0:  3a20 5341 4d45 4f52 4947 494e 0d0a 416c  :.SAMEORIGIN..Al
	0x00f0:  7465 726e 6174 652d 5072 6f74 6f63 6f6c  ternate-Protocol
	0x0100:  3a20 3830 3a71 7569 630d 0a0d 0a         :.80:quic....

没错,在第一个 SYN 包的时候就把 HEAD 请求带过去了。

但是发现比较奇怪的是很多时候一模一样的命令,SYN 包上就没带数据。

按我的想法,既然还是第一个 SYN 包,客户端这边压根不知道服务器端的情况,那么应该不管服务器端如何 SYN 里都带有 HEAD 请求啊?


另外,用 httping -F 命令测试自己编译的 nginx 的时候,一直都没看到正确的抓包结果,HEAD 请求一直都是在三次握手后发送的。

试图用 systemtap 来追踪一些问题。

第一步确认我的 nginx 的 socket 是不是真的开了 fastopen:

一个终端运行如下命令:

stap -e 'probe kernel.function("do_tcp_setsockopt") {printf("%d\n", $optname)}'

另一个终端启动nginx,看到前一个终端输出结果为23,查 tcp.h 可以看到 23 正是 TCP_FASTOPEN 没错!

第二步确认 httping 发送的时候是不是开了 fastopen:

一个终端运行如下命令:

stap -e 'probe kernel.function("tcp_sendmsg") {printf("%d %x\n",$msg->msg_namelen,$msg->msg_flags)}'

另一个终端运行最开始提到的 httping -F 命令,看到前一个终端输出结果为 16 20000040,查 socket.h 可以看到 MSG_FASTOPEN0x20000000MSG_DONTWAIT0x40,也就是说 httping 也没问题。

现在比较郁闷的一点是:在 net/ipv4/tcp.c 里,tcp_sendmsg() 函数会判断 if ((flags & MSG_FASTOPEN)),就调用 tcp_sendmsg_fastopen() 函数来处理。但是试图用 systemtap 来调查这个函数的时候,会报一个错:

WARNING: probe kernel.function("tcp_sendmsg_fastopen@net/ipv4/tcp.c:1005") (address 0xffffffff815cca08) registration error (rc -22)

原因还未知。

留记,继续研究。


注1:发现 chrome 即使在 about:flags 里启用了 fastopen 好像也不行,必须命令行 google-chrome --enable-tcp-fastopen 这样打开才行。

注2:网上看到有人写server和client的demo演示fastopen,但其实不对,demo代码里print的数据是正常三次握手以后socket收到的。这点开tcpdump才能确认到底是什么时候发送的数据。


2014 年 04 月 18 日更新:

今天改用 wireshark 看了一下数据包,在第一个 SYN 包没有带请求数据的时候,其实最末尾可选项里是有 fastopen 的,截图如下。看来还是服务器端的问题。下一步研究 tcp_recvmsg() 函数去。