本文目录
如何查看蜘蛛日志
网站日志，是服务器端自动生成的一个文本记录，详细记载了网站的访问详情，做为站长的你，如果是需要查看访问统计数据，那用51.la或者百度统计 工具就可以了，但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站，那就要学会自己查看网站日志文件了。结合我们自己的网站做为一个实例来做一个介绍：首先利用FTP工具登录服务器端，一般在服务器根目录之下存在一个logs文件夹，这里面装的就是网站日志，当然不同的服务器类型，日志文件的文件夹名称和我介绍的不一样，但没关系，日志文件的扩展名是log。日志中蜘蛛的访问行为进入日志文件夹，你会发现，日志文件是按每一天的访问情况为一个文件保存的：日志中蜘蛛的访问行为好吧，我的服务器只保留最近三天的日志文件，真小气，我还用过一个国外的服务器，人家是按月记录，并且当月结束后会将当月的日志打包供下载，只要你不人为删除，该日志文件会永远存在，这才叫个性化，但是没办法，谁叫我们只能用国内的服务器。OK，报怨了几句，随便下载一天的日志文件，用Windows文本工具打开该日志文件，会看到一堆酷似代码的字符，祝文件大小打开速度也不同：日志中蜘蛛的访问行为注意看有背景的这一小部分，我用CTRL+F搜索功能查找baiduspider，好吧，为什么要查找baiduspider，这里先普及一下关于搜索引擎蜘蛛的一点小知识，各大搜索引擎的蜘蛛都有名字：百度的叫baiduspider;谷歌的叫Googlebot;微软的叫bingbot;搜狐的叫Sogou web spider;腾讯的叫Sosospider;因为国内主要是以百度为优化对象，我们来看看关于百度蜘蛛爬行记录的信息分析，在日志记录中随便找一个百度蜘蛛的信息：125.90.88.96 - - "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +
elk 日志分析平台可以干什么使
网站日志又称蜘蛛日志，它是成千上万个“蜘蛛”小爬虫程序每天爬行数千万个网站，这个小爬虫程序就是“蜘蛛”，它在网站爬行后留下的轨迹或痕迹就是“日志”。一、国内常见的蜘蛛名称：Baiduspider；360Spider；sogou spider。二、在分析日志时需要熟知蜘蛛HTTP状态码：2XX：抓取成功，200抓取全部成功。3XX：重定向，301永久重定向。4XX：客户机出现错误，404找不到指定文档。5XX：服务器出现错误。三、完整的一串蜘蛛日志都包括那些：蜘蛛访问IP；访问时间；获取方法；访问的页面；返回状态码；页面抓取字节；蜘蛛名称及蜘蛛地址。对于一个刚上线的网站，我们能分析出来搜索引擎蜘蛛抓取的情况；如果网站长时间收录有问题，那么我们也可以对比网站日志中的搜索引擎蜘蛛行为，来了解网站是哪方面出了问题；如果网站被封，或者被K，我们都可以通过观察网站日志的情况来了解原因出在什么地方。我们要看的网站日志的分析和诊断就像给网站看病一样，我们通过网站日志的分析，可以简单明了的就知道网站的健康状况，可以利于我们更好的做网站优化，所以对于真正的SEO高手而言，分析蜘蛛日志是最直观，最有效的额。
百度蜘蛛爬行日志分析
Google的蜘蛛的名字：Googlebotbaidu的蜘蛛的名字：baiduspiderYahoo的蜘蛛的名字：Yahoo Slurp看了一看状态码，还没有发现它们的踪影哦……
看不大懂
有专门的工具，可以到网上找找
估计是你自家房檐角的八脚蜘蛛、
