首先我们需要知道蜘蛛的日志在哪里可以查询得到？
这个每个网站的配置都是不同的，一般在log文件夹下即可找到，实在搞不了，直接去找空间商进行解决。
分析日志所使用的的工具
loghao都可以进行查询，如下所示：
在这里即可了解到蜘蛛是什么时候过来的，但是这里是分段的，要一段段的进行查看，适合小型网站进行使用即可，在左侧进行输入域名即可进行完整的分析了~ ~！
主要用于看看是否重复抓取，也可以理解为看看抓取的内容是否浪费掉了，看看他是不是不抓取我们所发布的文章，看看是不是只抓首页和一些乱七八糟的连接，这样就会导致很多资源被浪费掉了，网站整体收录上不来，和看看抓取死链的方法~~！
夺命雷公狗—玩转SEO---73---蜘蛛日志loghao入门
原文：https://www.cnblogs.com/leigood/p/11296691.html