内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

[SEO基础]robots.txt放在哪里?写法和作用详解

2018-01-15 13:39 出处:鬼叔说运营 人气: 评论(0
SEO入门阶段,不乏一些人卡在robots.txt写法上面,不知道在考虑网站SEO优化时,robots.txt放在哪里Robots.txt文件的作用是什么?如果想迈过SEO小白那道坎,今天的SEO基础教程你必须要睁大眼睛看看。
SEO基础-robots.txt放在哪里?写法和作用详解
Robots.txt定义
Robots协议(爬虫协议)是国际互联网界通行的道德规范,以便于保障用户在搜索引擎中的隐私和自由操作。
Robots.txt作用
网站SEO优化排名的时候,用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取。可以屏蔽网站中大的文件,如:音乐,图片,视频文件等等,节省服务器带宽;死链接或者不想被搜索引擎蜘蛛看到的文件,也可以通过robots.txt文件屏蔽来实现。
蜘蛛在抓取网站的时候,会优先访问网站根目录的robots.txt文件,只抓取那些你允许爬行的链接页面。 这属于SEO基础中的一个思路问题,平时在优化网站的时候,要尽可能的做到举一反三,才能对你的SEO水平提升更快。
Robots.txt放在哪里
robots.txt文件多是放在网站根目录,当然其它位置也可以,只是根目录是搜索引擎蜘蛛在访问一个网站时,优先访问到的位置。放在网站根目录会缩短蜘蛛的访问时长,提高抓取效率。
接下来鬼叔说运营简单介绍下robots写法,能不能实现SEO入门的第一步就看你对robots写法的领悟能力了。
Robots.txt写法(#表示注释,解释robots文件指令的作用范围)
User-agent: * #这里的*通配符代表搜索引擎种类,*就是匹配所有的蜘蛛
Allow: /  Disallow: #这两个都表示允许蜘蛛抓取所有文件
Allow: /seo #表示允许抓取seo整个目录
Disallow: / #站点根目录,表示禁止蜘蛛抓取站点
Disallow: /seo/ #表是禁止爬取seo下的所有目录
Allow: /seo/ #表示允许爬取seo下的所有目录
Disallow: /seo/a.html #表示禁止访问seo下的a.html页面
Allow: /seo/a.html #表示仅允许访问seo下的a.html页面
Disallow: /seo/*.html #表示禁止访问seo下的所有".html"结尾的url,包括子目录
Disallow: /seo/.html$ #表示禁止访问seo下所有".html"为后缀的url
Allow: /seo/.html$ #表示仅允许访问seo下所有".html"为后缀的url
Disallow: /seo/.jpg$ #表示禁止爬取seo下的所有jpg图片
Allow: /seo/.jpg$ #表示仅允许爬取seo下的所有jpg图片
Disallow: /*?* #禁止访问网站中所有包含问号 (?) 的url
Sitemap: domain.html #引导蜘蛛来抓取网站地图,有助于提升网站的收录;谷歌为xml格式,百度为html格式,留空表示无
今天的SEO入门教程到这里就要结束了,如果大家对于robots.txt写法还有疑问,欢迎加入SEO优化交流群进一步了解:428773129
本文为鬼叔说运营原创,如需转载请保留此处:作者鬼叔说运营 http://www.17seo8.cn/
推荐阅读:

[SEO技术培训]怎么做好网站结构优化?
[SEO基础]SitemapX怎么制作网站地图?就这么简单!
[SEO基础入门教程]站外链接、反向链接与外部链接的区别
[SEO技术培训]网站编辑SEO优化推广方案完整版
分享给小伙伴们:
本文标签:

相关文章

评论

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

签名: 验证码: 点击我更换图片

评论列表

    Copyright © 2002-2011 河南SEO郑州SEO公司-鬼叔说运营.版权所有

    河南SEO | 郑州SEO |新乡SEO | 安阳SEO | 洛阳SEO | SEO教程 | SEO技术培训 | SEO基础知识