robots.txt & humans.txt

robots.txt 是给搜索引擎看的，首先要说明的是国内搜索引擎是不按照这个规则的。