全站允许搜索引擎爬虫访问的文本代码

作者：shenghuobaodian.com 时间：2016-10-01

描述：也可以不使用这个而直接在首页设置即可，很简单的。因为搜索引擎都是先访问主页的，它处于根目录下，所以容易抓取到。

文本类型：TXT

将 robots.txt 放置与网站根目录下

robots这样写：

User-agent: *

Allow: /

无相关信息

中国科研团队：大象的长	自己是否能够像自己想
火宫殿：吃喝玩乐看，烧香	眼见为实也不为实，更须