在回家过年以前我将abseo.cn的Robots.txt设置了禁止谷歌蜘蛛访问.
接下来很快的,一个月左右,所有原来收录的内容被Google清空了,唯一例外的是,居然还有WML格式的内容没有被清除,点此查看.
还有,虽然已经禁止谷歌蜘蛛访问,但是谷歌依然在对这个站进行更新,见下图:
关于WML的内容,核桃觉得相当奇怪,所以今天看了服务器空间日志,发现Google蜘蛛果然还在来,但不是原来的大蜘蛛,而是另一只小的:
24
2009
02
非常奇怪的Google蜘蛛
作者:核桃 | 分类:SEO实验 | 浏览:299 | 评论:1
