robots协议(也称为爬虫协议、爬虫规则、机器人协议等)
通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。本站使用的robots如下:
User-agent: * Disallow: /wp-* Disallow: /cgi-bin/ Disallow: /feed/ Disallow: /tag/* Disallow: /comments/feed Disallow: /comments Disallow: /trackback Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.css$ Sitemap: https://www.vpskb.com/sitemap.xml Sitemap: https://www.vpskb.com/sitemap.html
保存为robots.txt文件,上传到网站的根目录即可!
郑重声明:本站部分文章来自网络,如有侵权请联系站长。【加入VPS口碑QQ群聊】