Google开源robots.txt解析器

|  阅读量 | 分类: 移动互联网 | 作者: 李小二 | 时间:2019年08月04日 16:16

大概这是七月初最重要的一条有关搜索引擎行业的新闻,Google公司,力推REP为互联网标准,并且把自己的robots.txt解析器在Github上开源了。

robots.txt,源自于1994年的时候,Martijn Koster(一个网站站长)在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion Protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个REP,始终没有成为一个互联网标准。

现在Google联合其他的几个巨头,力图把REP推动成为一个互联网标准。

Google开源robots.txt解析器 移动互联网

在把REP作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在robots.txt不止可以用于HTTP,还包括了FTP等基于URI的传输协议;解析器的开发者需要至少解析robots.txt的前500KB内容;还有缓存时间等等一些新的标准内容。

网站站长们如果对此有建议,有问题,等等,都可以到Webmaster Community或者twitter上联系。

就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。

作者: David Yin

来源: QQ/微信:lusongsong7 ,转载请注明出处!

本文地址: