求救！诡异：系统内存不知被谁吃了

higkoo

事因：
    有个同事更新了程序，结果我发现程序没有更新。最后两个人坐在一起对，发现在他机器上看确实是更新的，我这边看却是旧的。
    也就是说，两个人用ssh连上去，查看同一个文件内容不相同！

措施：
    不明白为什么，然后重启系统。

结果：
    刚启动系统，Java提示无法启动：内存不足。


这时才发现系统故障了，什么服务都没有启动内存就耗尽了：
-----------------------------------------
free -m
             total       used       free     shared    buffers     cached
Mem:          3949       3920         29          0          5         16
-/+ buffers/cache:       3898         51
Swap:         2047          1       2046
---------------------------------------
top按内存使用率排序
top - 10:21:18 up 53 min,  1 user,  load average: 0.00, 0.00, 0.00
Tasks: 115 total,   1 running, 114 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.3%us,  0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si, 0.0%st
Cpu1  :  0.3%us,  0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si, 0.0%st
Cpu2  :  0.0%us,  0.7%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si, 0.0%st
Cpu3  :  0.3%us,  0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si, 0.0%st
Mem:   4044308k total,  4014596k used,    29712k free,     5400k buffers
Swap:  2096472k total,     1076k used,  2095396k free,    17072k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
2568 haldaemo  15   0 30888 3964 1580 S  0.0  0.1   0:00.56 hald
25695 root      15   0 90016 3308 2580 S  0.0  0.1   0:00.01 sshd: higkoo@pts/0
2653 root      18   0  130m 2612 1712 S  0.0  0.1   0:00.00 cupsd
25697 root      15   0 66192 1612 1180 S  0.0  0.0   0:00.01 -bash
31228 root      19   0 99.6m 1568  900 S  0.0  0.0   0:00.00 crond
2616 root      21   0 54396 1544 1160 S  0.0  0.0   0:00.00 automount
---------------------------------------



内存被谁用了，咋回事？求高人指点。

higkoo

文件不同步的问题，自动好了，原因未知。

内存被吃的问题是由于下列配置导致：
/etc/security/limits.conf
    * soft memlock unlimited
    * hard memlock unlimited

/etc/sysctl.conf
    kernel.shmmax = 68719476736
    vm.nr_hugepages = 3072
    vm.hugetlb_shm_group = 1000

ulimit -l unlimited
过程详见：
http://hi.baidu.com/higkoo/blog/ ... 2647f737d122e4.html