存档

文章标签 ‘如果查看搜索引擎爬虫记录’

通过日志分析搜索引擎蜘蛛爬虫的行为

2013年3月24日 没有评论

简要说明

做好百度和谷歌优化的第一步就是蜘蛛的抓取,下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。这里请首先看看日志大小,如果很大(超过50M)建议别用这些命令分析,因为这些命令很消耗CPU,或者抓下来放到分析机上执行,以免影响网站的速度。这些命令都是Linux下的shell命令,在/var/log/apache2/下面可以找到日志文件。access.log这个文件记录的应该是最近一天的日志情况。

阅读全文…