robots协议是什么?在网站优化中,robots.txt有什么用?

发布时间:2020-05-29 08:20:53
点击:
作者:风雪
来源:代代SEO

  今天由我们代代SEO为大家分享“robots协议是什么?在网站优化中,robots.txt有什么用?”robots.txt文件其实是我们网站与搜索引擎的一个协议,这个协议简单理解就为一道门,那个目录可以被抓取收录,哪些目录不能被抓取收录,只要你把规则写到robots.txt协议上面去,搜索引擎就会跟着执行。


  robots协议是什么


  但是要知道,并不是说,你写了协议,百度搜索引擎就不会抓取了,不是这样的,有的时候,百度依然还是会抓取的,robots.txt协议并不是完全适用于百度,但是完全适用于谷歌,百度也是为了检查我们网站中是否有违法内容等等,也会强制抓取robots.txt目录,但是不会收录,测试了很多词,百度不会收录禁止抓取的文件,但抓取还是会的。下面我们详细来讲解robots文件。


  robots.txt协议(也称为爬虫协议、爬虫规则、机器人协议等。)


  robots.txt文件是存储在网站根目录下的TXT文本文档。这是网站和蜘蛛之间的协议,该网站告诉搜索引擎哪些页面可以被抓取,哪些页面不想通过机器人协议被抓取。推荐注意事项(深圳搜索引擎优化培训)


  爬虫协议


  robots.txt的角色是什么?


  如果你的网站根目录中有一个像robots.txt这样的文件,蜘蛛在抓取你的网站时会首先访问这个文件(robots文件通常存储在根目录中,蜘蛛首先访问这个文件,所以这个文件非常重要)。


  机器人文件用于告诉搜索引擎蜘蛛网站的哪些文件夹可以被检索,哪些文件夹不能被检索,从而确保我们网站的隐私内容不会被包括在内。


  robots.txt的角色


  robots.txt可以限制的搜索引擎如下!


  1.百度蜘蛛


  拜德斯皮德的名字是拜德斯皮德。百度蜘蛛日志中也有百度蜘蛛-手机、百度蜘蛛-图像、百度蜘蛛-视频和百度蜘蛛-新闻。百度蜘蛛和百度蜘蛛图片是百度蜘蛛的两种。


  2.谷歌蜘蛛:谷歌机器人,谷歌机器人移动,它的名字是抓取wap内容


  3.蜘蛛,这家伙很勤奋


  4.索索斯派德:索索斯派德,比360更勤奋


  5.雅虎蜘蛛:雅虎!诋毁中国


  6.有一只蜘蛛:你的机器人


  7.搜狗蜘蛛:搜狗新闻蜘蛛


  搜狗蜘蛛还包括以下几种:搜狗蜘蛛、搜狗inst蜘蛛、搜狗搜狗蜘蛛2


  博客、搜狗新闻蜘蛛、搜狗蜘蛛等。


  8.MSNSpider:msnbot,MSNbot-媒体


  9.冰蜘蛛:冰机器人


  百度搜索引擎


  以上就是我们今天所分享的内容所在,至于robots文件的编写,我们会在以后的文章中详细分享,大概的说一下,robots.txt禁止指令,包含某一个文件,禁止被抓取,某一个目录禁止被抓取,某一种类型的文件禁止被抓取,当然,不要写错robots.txt如果写错了,可能导致蜘蛛无法抓取内容,所导致的无收录现象,如果发觉网站收录变慢,可以删除下robots.txt,更新一段时间检查下,如果收录正常就是robots.txt编写内容错误了。


微信扫一扫赞助

    匿名评论
  • 评论
人参与,条评论