RSS订阅『和佳网络』seo技术分享博客
你现在的位置:首页 / robots.txt写法大全

robots.txt协议的设置和写法

0 SEO技术分享 | 2015年8月25日
robots.txt协议的设置和写法

   robots.txt协议是什么?  robots协议也就是robots.txt文件,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。需要知道的搜素引擎爬取蜘蛛会首先爬取...查看详细

«1»
网站分类
最近发表
Tags列表