robots协议（也称为爬虫协议、爬虫规则、机器人协议等）

通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重。本站使用的robots如下：

User-agent: *
Disallow: /wp-*
Disallow: /cgi-bin/
Disallow: /feed/
Disallow: /tag/*
Disallow: /comments/feed
Disallow: /comments
Disallow: /trackback
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Sitemap: https://www.vpskb.com/sitemap.xml
Sitemap: https://www.vpskb.com/sitemap.html

保存为robots.txt文件，上传到网站的根目录即可！

郑重声明：本站部分文章来自网络，如有侵权请联系站长。【加入VPS口碑QQ群聊】