杭州派迪科技为高端客户提供品牌官网咨询策划,品牌官网设计,品牌官网建设开发服务,以国际化视野和标准为基础,为各行业领军品牌提供高端企业网站定制、策划、设计、互动与制作
查看详情robots协议的常见问题
一、robots协议是什么?
搜索蜘蛛在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定搜索蜘蛛(爬虫)在您网站上的抓取范围。
其实就是一个文件,用户写好了代码,放到虚拟根目录上,用于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
二、支持哪些robots Meta标签?
目前的网站插件代码支持nofollow、noarchive两种robotsMeta标签,不过,在百度官方的《百度搜索引擎优化指南》中,百度明确表示只支持网站的nofollow、noarchive两种meta标签,两种标签的写法参考如下:
1)防止所有搜索引擎显示你的网站快照,可将此元标记置入部分:
2)不想搜索引擎追踪此网页上的链接,而且不传递链接权重的,可以将此元标记置入:
三、网站管理员如何上传robots协议
robots文件需要用户自己写代码,保存为txt文件,然后上传到网站的虚拟根目录。
四、其他常见问题
Q:需要针对“www.aaa.com/bbb.html”这个页面在根目录上传robots文件,如何操作?
A:robots文件需要用户自己写,目前没有针对某个页面的虚拟根目录,用户写好了上传到网站的虚拟根目录即可。
Q:网站后台没有上传robots文件但是输入“www.aaa.com/robots.txt”依然可以访问,是默认如此吗?
A:这个是nginx配置的问题,访问以txt为后缀的文件会被加上text/plain的contentType。如果改为text/htmI会有安全性问题,暂不处理。
Q:上传了robots没有在sitemap体现,正常吗?
A:正常。网站的sitemap 生成是根据站点页面链接的,后台上传了robots 是不会体现到sitemap的。
相关专题
-
页面秒打开,留住用户快人一步
2022-04-13
-
下载站请注意,清风算法再次升级!
2022-04-12
-
这些搜索常见问题,你都知道答案吗?
2022-04-11
-
向搜索提交资源时,这些坑你都避开了吗?
2022-04-10
-
这些搜索违规问题,记得规避
2022-04-09
-
官方为你解读搜索内容时效性!
2022-04-08