做seo网站优化的朋友们都知道，在分析百度蜘蛛爬虫爬取网站时，通常要分析爬虫爬取某个网页的载入所消耗的时间。那该怎么通过shell来处理呢？
通常我们的网站日志也是IIS日志记录的。如果末位字段是记录的载入时间，我们就需要过滤所有百度蜘蛛的行在计算平均值就知道
当天百度蜘蛛的载入速度了。那shell脚本日志如下！
awk ‘/Baiduspider/
{name=FILENAME; sub(/.log/, “”, name); count[name]++; sum[name] += $NF} END{for(i in sum) print i“\t” “- 平均下载耗时=”,”\t” sum[i]/count[i]“\n”}’ *.log |sort -d
把上面的awk脚本写入sh脚本里，保存为***；
在cygwin给运行：首先赋给***权限：chmod -X ***
然后执行 ./***，就能得到结果了。或者你输出给一个txt文件，然后把***的内容直接复制到excel里进行处理和存储就可以了。这样就可以在以后对速度做优化时，可以用此参数做为参考，看是否改进蜘蛛抓取速度。
选择最专业最好的seo网站优化企业推广外包服务商就选济宁天拓！
拥有最专业的seo网站优化团队！