一、網(wǎng)站日志是什么

    網(wǎng)站日志是記錄web服務(wù)器接收處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始信息的以.log結(jié)尾文件。通過網(wǎng)站日志可以清楚的知首用戶在什么IP、什么時(shí)間、用什么操作系統(tǒng)、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網(wǎng)站的哪個(gè)頁(yè)面是否訪問成功。網(wǎng)站日志可記錄各搜索引擎蜘蛛機(jī)器人爬行網(wǎng)站的詳細(xì)情況。如何查看網(wǎng)站被百度抓取的情況。

二、網(wǎng)站日志的運(yùn)行方式

    網(wǎng)站日志分析的方法： 首先下載網(wǎng)站日志，通過FTP訪問網(wǎng)站的根目錄?？梢钥吹揭粋€(gè)包含log的文件夾，這是存放日志的地方。下載、解壓、打開日志文件。 

蜘蛛名稱有：百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider 在日志文件里，搜索以上蜘蛛名稱。就可以看到蜘蛛抓取的痕跡。分析的主要點(diǎn)是HTTP狀態(tài)碼，如顯示200和301。" 200 5162 " 代表正常抓取，這次抓取了5162個(gè)字節(jié)。