web网站一定要设置robots.txt吗?

seablue · 发表于 2004-3-13 17:11:22

如果没设置,会不会影响安全?

包子 · 发表于 2004-3-14 20:28:02

robots.txt可以禁止robot爬你的一些网站的某些你不想被爬到的目录的

seablue · 发表于 2004-3-14 22:34:16

最初由包子发表
robots.txt可以禁止robot爬你的一些网站的某些你不想被爬到的目录的

明白一点点:thank
我在找找详细资料看看

包子 · 发表于 2004-3-15 09:38:47

嗯
找到资料了记得来这里帖一下哦：）

seablue · 发表于 2004-3-16 11:33:24

最初由包子发表
嗯
找到资料了记得来这里帖一下哦：）

找到了一些，因为太大，我把她作为附件，如下：

		自动登录	找回密码
密码			注册