LVS 负载均衡是如何计算活动连接数 ActiveConn 的？

Chowroc

使用 LVS-DR 做负载均衡，但是使用 ipvsadm -L -n 所看到的 ActiveConn 值与 netstat -ant 2>&1 | wc -l 得到的值相差很大，前者是后者的数倍，比如 ActiveConn ~= 40000 时，netstat ~= 9000；ActiveConn ~=75000, netstat ~= 15000。

所以我不太明白 LVS-DR 的 ActiveConn 是如何计算的？是不是它自己有一个超时的设定，没有超时就仍然算作 ActiveConn？

前后两天，ActiveConn 的值基本相当(~40000)，但网络流量却相差很大，性能表现也不同，后来在 message 日志中看到：
kernel: ip_conntrack: table full, dropping packet.
于是将 /proc/sys/net/ipv4/netfilter/ip_conntrack_max 调整到 81920(原来为 32504--各个 realserver 有些差异)，性能得到改善，ActiveConn 的值也上升了，与 ip_conntrack_max 基本相当，但也并不完全一样，而且仍然有丢包，但这时 ActiveConn 并没有达到 ip_conntrack_max(~=60000-70000)，而：
# wc -l /proc/net/ip_conntrack
的值显示已经到达上限(81920)了,所以也不能简单的认为 ActiveConn 和 ip_conntrack_max 有必然的联系。

而且这里使用的是 LVS direct routing 方式，返回的报文不会经过 director，所以我觉得是这里我没有完全弄明白其计算的机制，因此想向大家取个经，望不吝赐教。

谢谢

clarkent

lvs 是有自己的超时设置。
lvs 的并发连接数是在编译内核时确定的，redhat 的 lvs default 值比较小，不适合大并发。
不知道你用的是什么发行版？

Chowroc

公司用 RHEL4

Chowroc

ipvsadm -L --timeout 可以看到这几个 timeout 设置：
Timeout (tcp tcpfin udp): 900 120 300

用 ipvsadm --set 可以进行设置。

使用 ipvsadm -lcn 可以查看 tracking hash table，可以看到 ESTABLISHED, SYN_RECV 等标志。

所以我想，如果设置 real servers 的 /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 的值与 lvs tcp timeout 的值一致，LVS 连接跟踪的统计结果会更接近，但应该是 ActiveConn + InactiveConn 之和。

那么，lvs 又是以什么为标志来判断一个 ESTABLISHED 连接是 Active 还是 Inactive 的呢？

clarkent

具体的机制不太清楚，但应该不只是用的TCP协议的超时机制。

--persistent [timeout] 对超时也有影响，你的lvs配置文件能贴出来么？

clarkent

内核参数 IPVS connection table size 对并发影响较大。

The IPVS connection hash table uses the chaining scheme to handle
hash collisions. Using a big IPVS connection hash table will greatly
reduce conflicts when there are hundreds of thousands of connections
in the hash table.

Note the table size must be power of 2. The table size will be the
value of 2 to the your input number power. The number to choose is
from 8 to 20, the default number is 12, which means the table size
is 4096. Don't input the number too small, otherwise you will lose
performance on it. You can adapt the table size yourself, according
to your virtual server application. It is good to set the table size
not far less than the number of connections per second multiplying
average lasting time of connection in the table. For example, your
virtual server gets 200 connections per second, the connection lasts
for 200 seconds in average in the connection table, the table size
should be not far less than 200x200, it is good to set the table
size 32768 (2**15).

Another note that each connection occupies 128 bytes effectively and
each hash entry uses 8 bytes, so you can estimate how much memory is
needed for your box.

cxfcxf

我觉得反应很快 我就没去注意= =
一直在弄heartbeat和ldirectord
其实 这个我记得在高文嵩的4篇doc里有提到吧

Chowroc

这个确实和 TCP 的设置没有什么关系，IPVS 有自己的内核参数，但我不太清楚如何设置。

另外，不知道 clarkent 兄所说的 "your virtual server gets 200 connections per second" 是如何判断出来的呢？

谢谢

Chowroc

1. 
   
2. primary = aaa.bbb.ccc.dd2
   
3. service = lvs
   
4. backup_active = 1
   
5. backup = aaa.bbb.ccc.dd3
   
6. heartbeat = 1
   
7. heartbeat_port = 539
   
8. keepalive = 20
   
9. deadtime = 30
   
10. network = direct
    
11. debug_level = NONE
    
12. virtual server1 {
    
13.         active = 1
    
14.         address = aaa.bbb.ccc.dd1 eth0:1
    
15.         load_monitor = none
    
16.         timeout = 40
    
17.         reentry = 60
    
18.         protocol = tcp
    
19.         port = 80
    
20.         send = "GET / HTTP/1.0\r\n\r\n"
    
21.         expect = "HTTP"
    
22.         use_regex = 0
    
23.         scheduler = wlc
    
24.         server Real2 {
    
25.                 address = 192.168.100.233
    
26.                 active = 1
    
27.                 weight = 1
    
28.         }
    
29.         server Real3 {
    
30.                 address = 192.168.100.229
    
31.                 active = 1
    
32.                 weight = 4
    
33.         }
    
34.         server Real4 {
    
35.                 address = 192.168.100.230
    
36.                 active = 1
    
37.                 weight = 4
    
38.         }
    
39.         server Real5 {
    
40.                 address = 192.168.100.228
    
41.                 active = 1
    
42.                 weight = 4
    
43.         }
    
44. }
    

复制代码

connection tracking table 默认有4096个 hash bucket，每个 hash bucket 默认有 16 个 connection tracking record，每个 record 的大小是 128 bytes。 查找方式是：以 hash 方式得到 bucket，然后在每个 bucket 中进行顺序查找。

Chowroc

想问一下用:
ipvsadm -lcn | grep -c SYN_RECV
得到的值与
ipvsadm -lcn | wc -l
的值在什么样的比例可以考虑是否是 SYN flood？