-
大概这是七月初最重要的一条有关搜索引擎行业的新闻,Google公司,力推REP为互联网标准,并且把自己的robots.txt解析器在Github上开源了。
robots.txt,源自于1994年的时候,Martijn Koster(一个网站站长)在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion Protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个REP,始终没有成为一个互联网标准。
现在Google联合其他的几个巨头,力图把REP推动成为一个互联网标准。
在把REP作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在robots.txt不止可以用于HTTP,还包括了FTP等基于URI的传输协议;解析器的开发者需要至少解析robots.txt的前500KB内容;还有缓存时间等等一些新的标准内容。
网站站长们如果对此有建议,有问题,等等,都可以到Webmaster Community或者twitter上联系。
就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。
作者: David Yin
来源:松松科技 QQ/微信:lusongsong7
Google开源robots.txt解析器
| 阅读量 | 分类: 移动互联网 | 作者: 李小二
相关文章阅读更多:站长 搜索引擎 谷歌
- 2016-01-25 家中隐私被视频拍摄 元凶竟是搜索引擎?
- 2016-04-10 在没有搜索引擎的时代,这套书拯救了无数小白
- 2017-08-13 全球搜索引擎Top10,你知道几个呢?
- 2017-08-22 百度新闻搜索结果不稳 官方回应:没漏洞 无篡改
- 2017-11-03 扎克伯格13年前写的Facebook网站代码,你见过吗?
- 2018-04-22 百度推广又摊上事,用户搜出“假德邦”被坑
- 2018-05-22 陆奇离职后的第五天,医疗广告竞价排名卷土重来
- 2018-05-24 那些搜索网站里的秘密,你会用吗?
- 2018-07-12 王小川:老板只给6个名额,我换成12个清华兼职学生做出搜狗搜索
- 2018-07-28 百度认证火车票官网仅限惊现大量灰色信息,举报后认证标消失
- 2018-08-07 如果Google回来,李彦宏凭什么说非常有信心再赢一次?
- 2018-08-08 Google百度选谁?调查问卷结果让李彦宏有紧迫感
- 2018-08-17 谷歌搜索和百度智能对比,谷歌有点可怕
- 2018-08-19 谁跟谷歌有天大的仇,将“fuckbaidu”域名跳转到了谷歌?
- 2020-06-28本站开通了在线投稿,点此立刻给我投稿哦!
发表感想加入微信群
点此登录松松云平台免费认证