1.頁(yè)面收錄情況
通過服務(wù)器日志，我們可以知道蜘蛛收錄哪些頁(yè)面，收錄的頁(yè)面又收錄了哪些信息，在收錄的這些信息之中，哪些是有利的，哪些需要調(diào)整，哪些頁(yè)面重復(fù)了，頁(yè)面之中是否含有死鏈接等等，如果有的話，需要把這些不利的因素給刪除掉。
2.頁(yè)面返回的狀態(tài)碼
網(wǎng)站的正常訪問都和狀態(tài)碼有著千絲萬(wàn)縷的聯(lián)系，比如，網(wǎng)站的正常訪問的狀態(tài)碼是200，也就是蜘蛛的一次正常訪問就是200，這正常倒是無(wú)所謂，一般也不顯示，但是如果是404，再或者是403該如何是好，404倒好知曉，若是403壓根就看不出來(lái)，所以此時(shí)就需要及時(shí)的處理，以免網(wǎng)站被降權(quán)或者損失權(quán)重。
3.抓取時(shí)間
一般來(lái)講，一個(gè)網(wǎng)站的訪問時(shí)間有高峰期，也有低潮期，所謂的高峰期就像是馬路上的車一樣，一般早上上班時(shí)間以及下班時(shí)間比較擁堵，此時(shí)網(wǎng)站頁(yè)面也是一樣，一般在網(wǎng)站訪問的高峰期來(lái)臨之前就把一些重要的信息發(fā)上去，正好他們都能夠看得清楚，第一時(shí)間掌握信息，同時(shí)也有利于我們網(wǎng)站的內(nèi)容更新。
4.查閱訪問者的IP
有的時(shí)候，需要對(duì)進(jìn)入到我們網(wǎng)站內(nèi)部的用戶進(jìn)行相關(guān)的分析，一般都是從該用戶所停留時(shí)間，訪問頁(yè)面數(shù)量等等，以此來(lái)判斷用戶是否尋找到了自己需要的信息。