三斗室

lbnamed代码浅读

08 September 2011

群里听说lbnamed这么个东东，用perl实现的动态DNS服务器。程序包括三个perl模块：Stanford::DNSserver模块、Stanford::DNS模块、LBCD模块；三个perl程序：lbnamed主程序、poller探测程序、slbcd监控程序（这个有C语言的版本）。

  • 先看主程序lbnamed。

排除掉sig啊，help啊，pid啊，log啊之类的以后，剩下的主要内容包括：

  1. 一个Stanford::DNSserver->new()对象，分别用add_static和add_dynamic方法加入的DNS记录，然后用answer_queries方法启动运行。
  2. 一个handle_lb_request()函数，用在add_dynamic中完成动态DNS解析响应。
  3. 一个load_config()函数，用于从文件中读取domain/ip/weight的值并存入hash。
  4. 一个by_weight()函数，用于排序。
  • 接下来主要是去看Stanford::DNSserver里的add_*和answer_queries函数。

这个模块里，$self除了new()传递的参数以外，还有几个很重要的空间，分别是$self->{select}、$self->{static}->{$domain}->{$type}->{answer}、$self->{static}->{$domain}->{$type}->{ancount}和$self->{dynamic}->{$domain}。

  1. add_static()很简单，把传入的配置按照格式组装给Stanford::DNS::dns_answer()，返回值存入$self->{static}->{$domain}->{$type}->{answer}，同时$self->{static}->{$domain}->{$type}->{ancount}加1。

*** 2011-10-09注: 代码是.=，即返回值是接入，static方法可以返回多条记录，而dynamic方法只会返回最后加载的一条。
  1. add_dynamic()更简单，直接把lbnamed里的handle_lb_request()的引用存入$self->{dynamic}->{$domain}就完了。
  2. answer_queries()方法启动服务器，步骤如下：

$self->daemon()，其实就是改变STD后的fork。
$self->init()，首先用IO::Socket::INET模块，new出两个socket，分别监听在TCP/UDP的DNS端口上；然后调用$self->{select}，这在new的时候已经创建了一个IO::Select对象。把之前的两个socket加入到select队列中。
在一个while(1){}死循环中，调用select的can_read()方法，具体是$self->{select}->can_read(600)，根据IO::Select的说明，这个600表示如果一直没有可以READ的SOCKET，等待600秒后返回一个空队列，也就是说轮训的时候，每个socket会阻塞600秒~
如果can_read成立，根据其协议是UDP还是TCP，调用$self->handle_udp_req或者$self->handle_tcp_req处理这个socket。

  • 然后看$self->handle_udp_req()方法。
  1. 用perl内嵌的recv方法，从socket中读取8192字节到$buff，至于这里为什么是8192字节，没有找到比较合理的解释。因为DNS协议的UDP传输一般只有512字节，而UDP协议的不可靠性，也很难保证8192字节的数据完整。唯一在一篇博客上看到说因为NFS的读写数据大小是这个。反正不管怎么样，8192肯定是足够的；
  2. 把$buff传递给$self->do_dns_request()函数，返回值赋为$reply。
  3. 用send方法，把$reply发回给socket。
  • 再来看$self->handle_tcp_req()方法。
  1. 用IO::Socket::INET::accept()方法创建一个返回到对端的socket对象；
  2. 关闭原来的socket，释放IO::Select；
  3. 使用perl内嵌的sysread方法，从socket中读入2个字节到$buff，然后用unpack(‘n’,$buff)的方式解压得到数据长度；
  4. 根据计算的长度，继续读入相应长度的数据，并传递给$self->do_dns_request()函数，返回值赋为$reply；
  5. 用pack(‘n’,length $reply)打包数据长度，接在数据报文的头部，用send方法发送出去；
  6. 依上面三步的操作，循环进行，直到socket内数据全部读取完成。
  • 然后看$self->do_dns_request()方法。
  1. 先把buff里的前12字节取出来，然后用unpack(‘n6C*’,$buff)解压成RFC1035标准里的包头信息，包括：

    $id——用来验证请求和响应匹配的随机数, 
    $flags——包括$opcode查询类型（正向/反向）、$qr（请求/响应）、$tc（截断？）、$rd（是否递归）, 
    $qdcount——查询的问题个数, 
    $ancount——响应的结果个数, 
    $aucount——额，这个在RFC1035里都没发现, 
    $adcount——附加区域内的响应结果个数。从程序来看，aucount和adcount一直都是0。
  1. 然后用Stanford::DNS::dn_expand()解析$buff出$qname，用unpack(‘nn’, substr($buff, $ptr, 4))解析出$qtype和$qclass，这三个变量是RFC1035.4.1.3中定义的请求区内容。
  2. 最后，使用$self->check_static($qname,$qtype,$qclass,\%dnsmsg)或$self->check_dynamic($qname,$qtype,$qclass,\%dnsmsg,$from)方法，得到响应内容，然后pack(‘n6’, $id, $flags, $qdcount, $dnsmsg{ancount}, $dnsmsg{aucount}, $dnsmsg{adcount}) . $reply组装完成返回。

*** 2011-10-09注: 代码是if( * or * )，即是先检查check_static结果并返回，只有不存在static的情况下，才会check_dynamic去！

上面关于pack/unpack语焉不详，实在是自己也不懂……汗！

  • 然后看check_static()函数

很简单，从前面add_static存入的%{$self->{static}}里取出对应qname的value即可，同时计算一下ancount。

  • 接着是check_dynamic()函数

跟static不同的是，这里对域名进行了分割然后重拼装，在获取到最先匹配的handler后跳出循环，调用handler处理。举例说：team.www.domain.com这个域名，它先检查是不是存在$self->{dynamic}->{www.domain.com}，有就传递(‘www.domain.com’,’team’,…)；否则下一步检查$self->{dynamic}->{domain.com}，有就传递(‘domain.com’,’team.www’,…)；依此类推……
至于Stanford::DNS模块，主要就是拼装各种数据成DNS协议规范的数据格式，在没看懂RFC1035和pack/unpack的用法前，就不写了。

  • 回头继续看那个handler函数
  1. 在new的时候，调用了&do_reload()做loopfunc；
  2. do_reload()中调用了load_config(“${poller_results}lb”)读取poller的结果文本；
  3. load_config()中将groups数组作为key，存入了各项数值，weight、ttl、rnd等；
  4. unless ($group = $lb_groups{$qname})这里就是用到了上一步的key，确认域名存在；
  5. by_weight()中，用$weight{}对$host排序；
  6. 选出最终答案，$rnd{$qname} ? @$group[int(rand(min($rnd{$qname},$#$group)))] : @$group[0];不过在load_config中，$rnd{$group}=0（另外一个赋值的地方是$rnd{$weight}=$host，很没道理的地方，我都怀疑是不是写反了？），所以肯定是从数组拿第一个，也就是最大的一个了。
  • server部分完毕，然后看poller程序：
  1. 大同小异的也是在while(1){…;sleep(120)}中用IO::Select和IO::Socket::INET完成对host的探测；
  2. 然后dump_lb()函数里取出各host的探测结果，计算weight，写入文件。

这个计算方法主要包括了服务器的登录user数量和loadavg的大小。说实话我不清楚为啥要计算user数量……具体的数据格式，可以看LBCD.pm里注释的C语言typeof struct定义，也可以看slbcd脚本里的pack。如下：

$reply = pack("nnnnNNNnnnnnCC",            # build the reply
              $version, $id, $op, $status,
              $btime, time(), $utime,
              $l1, $l5, $l15, $tot, $uniq,
              $console, $reserved);
  • 最后总结

这个server利用poller调整解析的weight，但并不是我想象中的百分比解析，而是针对每次解析请求时后端服务器的准实时（120秒）负载情况给出最适合的一个。对于全网GSLB，感觉不太适用；对于内部SLB，又感觉不如LVS好用。
不过作为一个DNS框架，如果抛开poller，倒也可以自己再设想一个动态dns来：

  1. 用Net::IP::Match::Regexp匹配ip列表到area区域——可以注意到，lbnamed中写的handler中没有用上传递进去的$from；
  2. 然后$file是area区域到host/weight(100%)的对应，handler中取rand(100)随机数，跟设定的weight比大小，确定具体用哪个ip；
  3. 最后改造poller，根据流量，响应时间等，确定一个weight阈值，超标的话就修改$file中得weight大小。