-
大概这是七月初最重要的一条有关搜索引擎行业的新闻,Google公司,力推REP为互联网标准,并且把自己的robots.txt解析器在Github上开源了。
robots.txt,源自于1994年的时候,Martijn Koster(一个网站站长)在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion Protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个REP,始终没有成为一个互联网标准。
现在Google联合其他的几个巨头,力图把REP推动成为一个互联网标准。
在把REP作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在robots.txt不止可以用于HTTP,还包括了FTP等基于URI的传输协议;解析器的开发者需要至少解析robots.txt的前500KB内容;还有缓存时间等等一些新的标准内容。
网站站长们如果对此有建议,有问题,等等,都可以到Webmaster Community或者twitter上联系。
就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。
作者: David Yin
来源:松松科技 QQ/微信:lusongsong7
Google开源robots.txt解析器
| 阅读量 | 分类: 移动互联网 | 作者: 李小二
相关文章阅读更多:站长 搜索引擎 谷歌
- 2015-02-28 百度站长平台评测
- 2015-06-15 曾经红火的中国互联网站长都去哪儿了?
- 2017-01-05 8个步骤帮你快速完成网站运营指标
- 2017-01-05 如何做好门户网站的内链建设?
- 2017-03-14 意想不到,价值千万自媒体运营宝典曝光,标题党赶快收藏!
- 2017-05-14 顶级赚钱高手必备哪些技能
- 2017-07-14 给饿了么开发的第一版网站,给他的酬劳是1000元
- 2017-07-27 还记得百万美元首页网站吗?广告链接很多失效
- 2017-09-12 一张图让你了解中国数据库的40年变迁
- 2017-12-28 2017年编程语言排行榜出炉,“世界上最好的语言”php仅第8名
- 2018-07-15 16年了,站长之家论坛今日正式开始停止服务
- 2018-08-01 第一个注册COM的域名33年了
- 2018-10-16 关键词挖掘工具----长尾关键词挖掘精灵下载使用及评测报告
- 2018-10-26 本文告诉你A站、B站、C站、D站、E站、F站、H站都是什么?
- 2020-06-28本站开通了在线投稿,点此立刻给我投稿哦!
发表感想加入微信群
点此登录松松云平台免费认证