使用道具 举报
最初由 包子 发表 robots.txt可以禁止robot爬你的一些网站的某些你不想被爬到的目录的
最初由 包子 发表 嗯 找到资料了记得来这里帖一下哦:)
您需要 登录 才可以下载或查看,没有帐号?注册
本版积分规则 发表回复 回帖后跳转到最后一页