Robots.txt 文件应放在哪里?

 杭州seo优化   2022-11-21 15:38   3 views 人阅读  0 条评论
摘要:

robots.txt文件必须放在网站的根目录。放在子目录的Robots.txt文件搜索引擎不能爬取到,所以不会起任何作用。如: 是有效的。是无效的。以下3种情况需要注意:1、如果手机网站

robots.txt 文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

如:

https://www.seowhy.com/robots.txt    是有效的。

https://www.seowhy.com/a/robots.txt  是无效的。

 

以下3种情况需要注意:

1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。

2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。

3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。

 

扩展阅读:

robots.txt概念和10条注意事项

写在结尾:以上就是Robots.txt 文件应放在哪里?的详细内容,更多请关注【杭州SEO博客】其它相关文章!
本文地址:http://seo.huashi123.cn/13697.html
版权声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系我们。


 发表评论


表情