濮阳杆衣贸易有限公司

主頁 > 知識庫 > 搜索引擎蜘蛛爬行網(wǎng)站足跡解讀

搜索引擎蜘蛛爬行網(wǎng)站足跡解讀

熱門標(biāo)簽:望都縣地圖標(biāo)注app 電銷機(jī)器人排行榜前十名 云趣在線n個你電銷機(jī)器人 呼和浩特ai外呼系統(tǒng)軟件 電話機(jī)器人一個月的費(fèi)用 ai電銷機(jī)器人效果好嗎 太原電銷外呼系統(tǒng)多少錢 電銷外呼防封號系統(tǒng) 電話機(jī)器人公司哪個好
你把IIS日志從空間下到本地,然后用文本工具打開;

  2010-05-14 15:52:03 W3SVC1 121。187。5。143 GET /category-8-b0-min1100-max2200.html - 80 - 220.181.7.74 Baiduspider+(+baidu/search/spider.htm) 200 0 0

  分析下 200 0 0組成部分 sc-status(協(xié)議狀態(tài)) sc-substatus(協(xié)議子狀態(tài)) sc-win32-status(Win32狀態(tài)碼)

  sc-status(協(xié)議狀態(tài)): 200 連接成功

  sc-substatus(協(xié)議子狀態(tài)) :0 成功

  sc-win32-status(Win32狀態(tài)碼):0 代表抓取成功并帶回數(shù)據(jù)庫 ; 64 指定的網(wǎng)絡(luò)名不再可用

  1: 在這個訪問記錄里面121.187.5.143是你服務(wù)器的IP地址,220.181.7.74 是bd蜘蛛的IP,/category-8-b0-min1100-max2200.html 為蜘蛛訪問你的頁面 80是端口 GET是打開方式 W3SVC1是記錄的文件夾,這里說明,bd蜘蛛已經(jīng)訪問了你的category-8-b0- min1100-max2200.html 這個頁面,那么最重要的是最后面的這個參數(shù)200 0 0。

  2、200 0 0 成功訪問該頁面,0代表抓取成功并帶回數(shù)據(jù)庫。這個時候你就放心了,這個頁面已經(jīng)被bd收錄,但是還沒有釋放出來,bd更新時就可能釋放出來。

  3:200 0 64 網(wǎng)絡(luò)上流傳著這么三種解釋第一:64為K站的前兆。第二64的出現(xiàn)只是64位操作系統(tǒng)。第三:網(wǎng)絡(luò)不可達(dá),由于某種原因無法完全打開頁面,或者網(wǎng)絡(luò)不穩(wěn)定這些原因,導(dǎo)致蜘蛛無法帶回頁面或者說不抓取該頁面,所以200 0 64的解釋也應(yīng)該為:訪問了該頁面,但并沒有任何抓取也沒有帶回數(shù)據(jù)庫。這種原因多為空間不穩(wěn)定、服務(wù)器不穩(wěn)定。

  4:304 0 0這個返回碼代表蜘蛛訪問的頁面沒有更新,和他之前來的時候是一樣的,所以看到這個不要擔(dān)心,蜘蛛來過,只不過你沒有更新,所以他也不愿意帶走這個頁面。

  5:404 0 0這個是代表404頁面,但是有個很嚴(yán)重的問題,這個返回碼告訴我們,蜘蛛來到了404頁面并把他帶走了,崩潰~~~~,要是這樣的話基本上你要倒霉了,要你有太多的404,那么蜘蛛就會不斷是抓取,不斷的帶走,這樣會造成無數(shù)的重復(fù)頁面,最終導(dǎo)致K站或者降權(quán),正確的返回罵是404 0 64 這就代表蜘蛛沒有抓取你這個頁面。

  6:500錯誤500錯誤是服務(wù)器內(nèi)部錯誤,是由程序的錯誤造成的,我不懂程序,但是500錯誤是會給你減分的,這點(diǎn)基本的邏輯都可以想的到,要發(fā)現(xiàn)500錯誤,馬上查看是哪個頁面的,然后去修正以下錯誤吧!

  7:302要在日志中發(fā)現(xiàn)302的返回碼也是需要注意的,302為臨時重定向,要你是長期的將這個頁面重定向到另一個頁面,麻煩你使用301永久重定向,要是302的話bd蜘蛛下次來還會訪問這個頁面,這樣又會造成復(fù)制大量頁面的問題,結(jié)果肯定是K,所以,抽空檢查以下。

  陳中平的回復(fù):

  每個網(wǎng)絡(luò)蜘蛛都有自己的名字,在抓取網(wǎng)頁的時候,都會向網(wǎng)站標(biāo)明自己的身份。網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁的時候會發(fā)送一個請求,這個請求中就有一個字段為User-agent,用于標(biāo)識此網(wǎng)絡(luò)蜘蛛的身份。例如Google網(wǎng)絡(luò)蜘蛛的標(biāo)識為GoogleBot,Baidu網(wǎng)絡(luò)蜘蛛的標(biāo)識為BaiDuSpider,Yahoo網(wǎng)絡(luò)蜘蛛的標(biāo)識為Inktomi Slurp。如果在網(wǎng)站上有訪問日志記錄,網(wǎng)站管理員就能知道,哪些搜索引擎的網(wǎng)絡(luò)蜘蛛過來過,什么時候過來的,以及讀了多少數(shù)據(jù)等等。

  通過ftp,查看到后臺有一個包含“log”的文件。這個文件就是日志。通過查看日志中是否有baiduspider的腳印。有baiduspider就說明bd蜘蛛來過網(wǎng)站。

  小刀SEO 的回復(fù):

  網(wǎng)站日志一般存放在虛擬主機(jī)的logfiles文件夾下,可以通過FTP工具將網(wǎng)站日志下載下來,通過txt文檔方式查看。

標(biāo)簽:楊凌 泰州 黃石 廣東 中山 海西 嘉峪關(guān)

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《搜索引擎蜘蛛爬行網(wǎng)站足跡解讀》,本文關(guān)鍵詞  搜索引擎,蜘蛛,爬行,網(wǎng)站,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《搜索引擎蜘蛛爬行網(wǎng)站足跡解讀》相關(guān)的同類信息!
  • 本頁收集關(guān)于搜索引擎蜘蛛爬行網(wǎng)站足跡解讀的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    腾冲县| 白玉县| 怀远县| 巴彦县| 澄城县| 莱州市| 肇东市| 白沙| 乐平市| 丰县| 南木林县| 江陵县| 台湾省| 阳城县| 阜南县| 安康市| 福安市| 亚东县| 新竹县| 黄浦区| 蒙山县| 林周县| 商洛市| 宁强县| 重庆市| 山丹县| 靖远县| 杨浦区| 曲阳县| 仙居县| 巧家县| 永川市| 克什克腾旗| 盱眙县| 元江| 贞丰县| 安丘市| 府谷县| 屏东县| 潞城市| 平南县|