網站SEO優化過程中不免會分析網站日志，網站日志的分析與診斷就像為網站看病一樣，我們通過網站日志的分析，可以更清楚地了解網站的健康狀況，利用這些數據更有利于網站SEO優化。

　　通過網站日志，可以清楚的知道用戶在什么IP、什么時間、使用什么操作系統、瀏覽器、分辨率顯示器的情況下訪問了你網站的哪個頁面，是否成功。對于專門從事搜索引擎優化的人來說，網站日志可以記錄每個搜索引擎蜘蛛機器人爬行網站的細節，比如哪個IP的百度蜘蛛機器人哪天訪問了網站多少次，訪問了哪些頁面，訪問頁面時返回的HTTP狀態碼。

　　常見的蜘蛛名稱：

　　Baiduspider：百度蜘蛛

　　Baiduspider-Image：百度圖片蜘蛛

　　Googlebot：谷歌機器人

　　Googlebot-Image：谷歌圖片機器人

　　360Spider：360蜘蛛

　　sogouspider：搜狗蜘蛛

　　第一，網站日志的作用。

　　1.通過網站日志，可以了解蜘蛛對網站的基本爬行情況，了解蜘蛛的爬行軌跡和爬行量。

　　2.網站的更新頻率也與網站日志中蜘蛛抓取的頻率有關。一般來說，更新頻率越高，蜘蛛抓取的頻率越高。我們網站的更新不僅是新內容的添加，也是我們的微調操作。

　　3.我們可以根據網站日志的反應提前預警我們空間中的一些事情和問題，因為如果服務器有問題，它會在網站日志中第一時間反映出來，要知道服務器的穩定速度和打開速度會直接影響我們的網站。

　　4.通過網站日志，我們可以知道網站的那些頁面很受蜘蛛的歡迎，哪些頁面是蜘蛛甚至不碰的。同時，我們也可以發現，有些蜘蛛因為過度爬行而損失了我們的服務器資源，所以我們必須進行屏蔽工作。

　　第二，怎樣下載網站日志呢？

　　1.首先，我們的空間應該支持網站日志下載，這非常重要。購買空間時，我們需要提前知道是否支持日志下載，因為一些服務提供商不提供這項服務。如果支持，空間背景通常有日志WebLog日志下載功能，可以用FTP將其下載到根目錄并傳輸到本地。如果服務器支持，可以設置將日志文件下載到指定路徑。

　　2.這里有一個非常重要的問題。網站日志強烈建議每小時生成一次。小企業站和頁面內容少的網站可以設置為一天。默認情況下是一天。如果內容多或大站設置為一天生成一次，那么一天只生成一個文件，這個文件會相當大。有時候打開電腦會導致死機。如果設置了，找空間提供商協調設置。

　　第三，網站日志數據分析。

　　1.網站日志中的數據量太大，所以我們通常需要使用網站日志分析工具來查看。常用的日志分析工具有:光年日志分析工具、網絡標志、WPS表格等。

　　117.26.203.167-[02/May/2011:01:57:44-0700]"GET/index.phpHTTP/1.1"50019967"-"Mozilla/4.0(compatible；MSIE8.0；WindowsNT5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590；.NETCLR2.0.50727；AlexaToolbar"

　　分析:

　　117.26.203.167訪問ip；

　　2011:01:57:44-0700訪問日期-時區；

　　GET/index.phpHTTP/1.1根據HTTP/1.1協議捕獲(域名下)/index.php頁面(GET代表服務器動作)；

　　服務器響應狀態碼500；

　　一般情況下，服務器響應狀態碼有以下幾種：200,301,302,304,404,500等。200代表用戶成功地獲得了所需的文件，如果是搜索引擎，則證明蜘蛛在這次爬行中順利地發現了一些新的內容。而且301代表用戶訪問的某一頁url已經進行了301重定向(永久)處理，而302則是暫時重定向。而且404代表所訪問的網頁已不存在，或者所訪問的網址完全是錯誤的。五百是服務器的錯誤。

　　19967表示抓取了19967字節；

　　Mozilla/4.0(compatible；MSIE8.0；WindowsNT5.1；Trident/4.0；AskTbCS-ST/5.11.3.15590；.NETCLR2.0.50727；AlexaToolbar表示，訪問者使用火狐瀏覽器、AlexaToolbar等訪問端信息；

　　2.如果您的日志格式不是這樣，則意味著日志格式設置不同。

　　3.很多日志中都能看到20000和200064則代表正常抓取。

　　4.抓取頻率是通過查看日志中百度蜘蛛的抓取次數來知道的。抓取頻率沒有標準的時間表或頻率數字。我們通常通過比較日志來判斷。當然，我們希望百度蜘蛛每天抓取的次數越多越好。

　　5.有時我們的路徑不統一，會出現帶斜杠和沒有斜杠的問題，蜘蛛會自動識別為301跳轉到帶斜杠的頁面，這里我們發現搜索引擎可以判斷我們的目錄，所以我們要統一我們的目錄。

　　6.我們分析日志分析時間長了，我們可以看到蜘蛛的抓取規律，同一目錄下單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看到，這些抓取頻率間隔是蜘蛛根據網站的權重和更新頻率自動確定的。

　　7.蜘蛛對我們網頁的抓取是分等級的，是按權重依次遞減的，一般順序是首頁，目錄頁，內頁。

　　第四，通過網站日志我們可以知道些什么？

　　1.我們買的空間能穩定嗎？

　　2.蜘蛛喜歡我們的頁面，不喜歡什么？

　　3.蜘蛛什么時候經常抓取我們的網站，什么時候需要更新內容？

　　總結：因此，無論是新站還是老站，無論你做百度還是Google，我們都可以通過網站日志來分析搜索引擎蜘蛛抓取的情況；如果網站長期收錄有問題，那么我們也可以對比網站日志中的搜索引擎蜘蛛行為，了解網站哪方面出了問題；如果網站被封或被K，我們都可以通過觀察網站日志網站日志的情況來了解原因出在哪里。所以對于真正的SEO高手來說，分析蜘蛛日志是最直觀、最有效的。