关于库的深入思考[探讨原创]

Skymoon

经常见有人提起关于库的种种问题,今天我也终于按捺不住,根据自己的经验,实验,学习中得到的一些,来说说自己的一点看法.
我们都知道库对系统的重要.没了它,系统几乎无法运转,包括LFS整个过程至少是对工具链调整来调整去的过程是以对库的倚赖为核心的.这其中又以动态库为精华.
那先来说简单的静态库.它简单到只是ar打包的目标文件的集合罢了,于是,它的作用也就和目标文件没什么区别了,链接进目标文件,ok,使命完成,至于程序以后的事包括运行则和这个静态库没有关系了.其实我觉的最有说服力的就是例子了,那我们就举最简单的例子.
cat >say.c<<eof
#include "stdio.h"
void say()
{
printf("Say!");
}
eof
cat >test.c <<eof
#include "stdio.h"
void say();
main(){
say();
}
eof
gcc -c say.c
ar -r say.a say.o
gcc test.c say.a -o test
ldd test
输出结果让我们看不到任何跟say.a这个我们自己写的静态库的关系.说明程序运行时已经不需要这个静态库了,它已经被ld链接进最终的程序了.
那么动态库,我们继续
gcc -fPIC -shared say.c -o say.so
gcc test.c say.so -o test
ldd test
如果不出意外的话,会出现say.so => not found.这时的./test是不能运行的.但至少说明程序运行时是需要这个库的.那为什么找不到这个库呢?那就让我们看看系统是怎样寻找这些库的吧.
首先是ld-linux.so.2这个不能不说,它太重要了,以至于也决定了后面的搜索方式.
先是程序内部决定的.
strings test
还好我们这个test程序不大,不用过滤输出,好,你看见什么,/lib/ld-linux.so.2,say.so,libc.so.6,对,用到的库!
但我们发现不同,有的有路径,有的没有,先不管没有路径的怎么寻找,有路径的肯定是能找到了,那好,我们让say.so也有了路径.
gcc test.c ./say.so -o test2
strings test2
我们发现原来的输出中原来的say.so已经变成了./say.so.运行一下./test2,可以运行了!好,找到库了,这里用的相对路径,无疑,我们将say.so移动到非当前文件夹.那test就又不能运行了.这样无疑是把我们用到的库硬编码进了程序里.我不喜欢硬编码,太死板.那不硬编码系统怎么找到我们需要的文件呢.
在程序没有把库地址硬编码经进去的前提下,系统会寻找LD_LIBRARY_PATH环境变量中的地址.
LD_LIBRARY_PATH=./ ./test2
如我们所愿,程序正常运行.
如果系统在这一步也没发现我们需要的库呢.
/etc/ld.so.cache这个由ldconfig生成的文件,记载着在/etc/ld.so.conf文件中指明的所有库路径加上/lib,/usr/lib里的所有库的信息.
其实以上这句话只是在大多数情况下是正确的,是否是这个文件由ld-linux.so.2决定.如过你的LFS中的第一遍工具链/tools还在的话,
strings /tools/lib/ld-linux.so.2|grep etc
输出很可能是/tools/etc/ld.so.cache.那么它用的哪个文件我们就清楚了吧.
可这个路径前面的/tools到底和什么有关呢?首先我们可能会想到与ld-linux所在的位置有关.还好我们有3套glib,感谢LFS,现在我们拿第二遍的工具链下手.假设我们的LFS在/lfsroot
strings /lfsroot/lib/ld-linux.so.2
很奇怪的是输出竟然是/etc/ld.so.cache!那这到底和什么有关呢,没错就是我们编译时候的--prefix有关.
现在再看这个/etc/ld.so.conf,和/lib,/usr/lib这些默认ldconfig路径.也都要加上个这个prefix了.
strings /tools/sbin/ldconfig|grep etc
strings /tools/sbin/ldconfig|grep /lib
验证一下吧.
那要是ld.so.cache里也没有记载这个库的地址怎么办呢.
最后在默认路径里找.这个路径一般是/lib,/usr/lib,但也不全是.
strings /tools/lib/ld-linux.so.2|grep /lib
还是要加个prefix.
现在我们反过来思考,不用程序中硬编码的/lib/ld-linux.so.2做动态加载器了.这也可以?!是的!虽然不一定成功.
LD_TRACE_LOADED_OBJECTS=y /tools/lib/ld-linux.so.2  /bin/test
LD_TRACE_LOADED_OBJECTS=y /lib/ld-linux.so.2  /bin/test
LD_TRACE_LOADED_OBJECTS=y /lfsroot/lib/ld-linux.so.2  /bin/test
试着比较结果吧.
不出意外的话第一个是在/tools/lib中搜索的库,二三个都是在/lib中的库.原因我想上面已经说清楚了.
下面以第二个为例说明问题:
LD_LIBRARY_PATH=./ /tools/lib/ld-linux.so.2 ./test
/tools/sbin/ldconfig ./;/tools/lib/ld-linux.so.2 ./test
cp ./say.so /tools/lib/;/tools/lib/ld-linux.so.2 ./test
三种方法应该都会出现我们想要的结果,这里说明/tools/lib/ld-linux.so.2在这里的含义,是用/tools/lib/ld-linux.so.2这个做动态装载器.不信把这个去掉,后两种方法一定不行.因为以./test自己硬编码进去的/lib/ld-linux.so.2来说,是不会去管/tools/etc/ld.so.cache,和/tools/lib下的库的.

为了说明顺序,我们做如下很危险的实验:
ldconfig /lfsroot/lib;
ldconfig -p
会出现很多内容,但不要试着过滤,因为这时的系统应该很多程序不能运行了.先踏下心来观察.你会发现很多库出现两次/lfsroot/lib,和/lib而且/lfsroot/lib在前,说明ldconfig先处理参数给出的地址,最后是默认地址.但顺序也不一定,应该还和编译glibc时我们的参数--enable-kernel有关(我根据种种表现猜测).
加上export LD_LIBRARY_PATH=/lib 环境变量在前面,不能运行的程序又能运行了,说明LD_LIBRARY_PATH变量的优先级优于ld.so.cache
unset LD_LIBRARY_PATH
echo >/etc/ld.so.cache
ldconfig -p
应该什么都不出现,可大部分程序能运行.说明ld-linux.so.2决定的默认路径起了作用(注意,这里的ldconfig的默认路径没有作用)
ldconfig
恢复系统正常.
如果你原意,可以chroot /lfsroot后,再做类似的操作看有什么不同.

懂了原理我们就来应用一下.
拿./test2为例.
我们把它的库给换了!!!
cat >saa.c <<eof
#include "stdio.h"
say(){
printf("I can do something here!!!");
}
eof
gcc -fPIC -shared saa.c -o saa.so
sed "s#\./say\.so#./saa.so#" test >test3
./test3
看看结果吧!
很令人惊奇是么,如果是setuid程序的话...其实这个也很难,因为这种程序我们一般是无法写的(给自己搞破坏不算).这也就明白了为什么长久以来对setuid程序的权限始终如此重视----因为太危险了.
惊奇过后你可能会想,对于未硬编码库地址的程序,我们直接把LD_LIBRARY_PATH改了不也行么?!指向我们的地址,用我们的库,然后...根本不用改什么文件了,要什么写权限了.
呵呵,要真那么容易我们可爱的Linux不也太脆弱了,这恐怕就玩大了,也是你我都不原意见到的.所以,ld-linux.so.2早以作出限止,setsid程序,LD_LIBRARY_PATH变量不起作用.不过文件中的还是有作用的.
最后,说一下ld,和ld-linux.so.2的区别,一个编译时用,一个运行时用,ld负责在它的搜索路径里找到要求的库,并查看是否有提供了需要的符号(如函数等),如果有,记录相关信息到程序中,由ld-linux.so.2在执行时查找到该库并,并根据相关信息进行需要符号的重定位等工作.注意这两者的搜索库的方式是不同的.
LC_ALL=C ld --verbose|grep search -i
显示了它默认的查找地址.我们可以做个实验.一般它会有个类似i686-pc-linux-gnu/lib的路径,同时是不在ld-linux.so.2的搜索路径里的.其余的是我们编译是--with-lib-path和LIB_PATH变量指定的.
mv ./say.so XXXX/i686-pc-linux-gnu/lib/libsay.so
gcc -o test4 -lsay test.c
ldd ./test4
结果肯定是libsay.so找不到的.

好了,写到这吧,想起什么再加,有什么不对的地方也望大家多多提出来^^

                ------------------Skymoon作品,转贴请注明出处作者.

Skymoon

不管正确与否，大家提出自己的意见来，我的目的是探讨，大家都积极参与进来，论坛才会更有活力。谢谢。
在此感谢大家对我更是对咱坛子的支持。谢谢。^^

d00m3d

Skymoon 的文章跟 youbest 的共通点，都是要用心去看的。。。

Skymoon

谢谢版主哦，总算有人回帖了，活活。高兴，哈。
我可不敢和youbest版主比，呵呵。
文笔不好，是不是挺晦涩的啊，只是想把我的经验贡献出来，让大大批评指正，共同进步^^
再次谢谢版主，没人理的滋味不爽啊。。。

晨想

谢谢兄弟的心得分享！
不是不理，是一下子没看懂。要仔细再看一下再发表意见。。

Skymoon

Post by 终极幻想
谢谢兄弟的心得分享！
不是不理，是一下子没看懂。要仔细再看一下再发表意见。。

唉,我就说是晦涩难懂吧,呵呵.^^

晨想

兄弟下次贴帖子，请稍微分一下段落，思路也清晰一点。。

晨想

写的不错，至少让我明白了 -fPIC 的作用，以及 ldconfig 的用法（我不知道的那些）。我原来对这些并不了解，都在编译上浪费时间了。呵呵。惭愧。。

几点心得：
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
用 .so 文件的话，只要替换了 .so 文件，也就可以改变原来程序的运行。

$ ls 1 2
1:
say.c  say.o  say.so
2:
say.c  say.o  say.so
$ LD_LIBRARY_PATH=1 ./test1
Say1!
$ LD_LIBRARY_PATH=2 ./test1
Say2!

至于 ldconfig 的使用，我没测试，实在不想重启系统。不过原理是看明白了。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
.so文件 搜索顺序：
LD_LIBRARY_PATH变量
ld.so.cache （由 ldconfig 生成）
binutils 编译时候指定的 --with-lib-path 参数

还有，如果要让 ldconfig 搜索到相应的 so 文件，文件名必须要是 libXXXX.so 这样的格式才行。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
静态/动态 编译：（有点跑题）
$ ls
say.c  test.c
$ gcc -c say.c
$ ar -r say.a say.o
ar: creating say.a
$ ls
say.a  say.c  say.o  test.c
$ gcc -static test.c say.a -o test #静态编译，需要.a 文件，不能用 .so
$ ls -l test
-rwxr-xr-x 1 william users 1966387 2006-08-29 18:54 test
$ ./test
Say1!
$ gcc -fPIC -shared say.c -o libsay.so  #生成库文件，需要  -fPIC
$ gcc test.c libsay.so -o test_shared  #动态编译，生成 test_shared
$ ./test_shared
./test_shared: error while loading shared libraries: libsay.so: cannot open shared object file: No such file or directory
$ ldd test_shared
linux-gate.so.1 =>  (0xffffe000)
libsay.so => not found
libc.so.6 => /lib/libc.so.6 (0xb7e60000)
/lib/ld-linux.so.2 (0xb7f9d000)
$ LD_LIBRARY_PATH=. ./test_shared
Say1!
$ LD_LIBRARY_PATH=. ldd test_shared
linux-gate.so.1 =>  (0xffffe000)
libsay.so => ./libsay.so (0xb7f3a000)
libc.so.6 => /lib/libc.so.6 (0xb7dfe000)
/lib/ld-linux.so.2 (0xb7f3d000)

youbest

Skymoon的文章给我不少启发,值得仔细看的.

enac

还是终极幻想的 好懂 哦