小問題也需要大智慧,處理網(wǎng)站錯誤頁面是百度在網(wǎng)頁優(yōu)化白皮書提出的重點項目,作為站長的我們應(yīng)該去發(fā)現(xiàn)這些重點,然后根據(jù)網(wǎng)站自身的問題去改進(jìn)問題,提高網(wǎng)頁在百度收錄時遇到錯誤頁面而給與負(fù)面影響,同時也給用戶留下好的印象,提升網(wǎng)頁的用戶體驗。作為菜鳥的我給大家總結(jié)了從那些方面來找出收錄頁面在百度中的錯誤。
1、服務(wù)器錯誤
服務(wù)器錯誤最主要的問題就是百度蜘蛛發(fā)起抓取網(wǎng)頁的時候,httpcode返回的都是5XX狀態(tài)碼,這樣會造成百度抓取不到規(guī)范的網(wǎng)頁。
造成服務(wù)器錯誤的原因有多種:網(wǎng)站處于正在進(jìn)行維護;該網(wǎng)站有程序出現(xiàn)批量錯誤。
最好的解決辦法就是找出程序的錯誤并做出適當(dāng)?shù)男薷?,如果是網(wǎng)站正在進(jìn)行維護,請采用百度站長平臺的閉站保護進(jìn)行規(guī)范后然后再進(jìn)行操作。
2、訪問被拒絕
訪問被拒絕最主要的問題就是百度蜘蛛發(fā)起抓取網(wǎng)頁的時候,httpcode返回的都是403狀態(tài)碼,這樣同樣會造成百度蜘蛛抓取不到規(guī)范的網(wǎng)頁。
造成訪問被拒絕的原因也有多種:網(wǎng)站權(quán)限受限制;IP地址被拒絕;服務(wù)器流量超負(fù)荷。
這幾種錯誤原因解決辦法也很容易,找出網(wǎng)頁所在目錄給與百度蜘蛛足夠的權(quán)限去抓取頁面,查看百度蜘蛛的IP地址是否被封禁,服務(wù)器流量過大的話那就升級服務(wù)器。
3、找不到頁面
找不到頁面最主要的問題就是百度蜘蛛發(fā)起抓取網(wǎng)頁的時候,httpcode返回的都是404狀態(tài)碼,這種錯誤是網(wǎng)頁最主要的,幾乎所有的網(wǎng)站都有這種頁面存在。
造成找不到頁面的原因可以列舉一大把:過期的團購網(wǎng)頁;誤刪數(shù)據(jù)庫;論壇垃圾帖子刪除。
其實這些問題能夠輕而易舉的就解決了,建立合適的404頁面,遇到404狀態(tài)碼就返回404頁面。
4、其他錯誤
其他錯誤包括的項目就比較多了,但問題大概還是差不多的,就是百度蜘蛛抓起網(wǎng)頁的時候httpcode返回的4XX狀態(tài)碼,除了403和404之外的其他狀態(tài)碼。
這種問題的來源也是蠻多的:請求的URL太長【參數(shù)太多】;要求驗證身份;不支持的媒體類型;瀏覽器不接收所請求的頁面。
解決這些問題比較復(fù)雜,URL過長的話需要解決參數(shù)的排序位置,身份驗證的就要從部分網(wǎng)站權(quán)限控制和其他程序問題來控制了,媒體類型盡量做到每個類型就覆蓋到自己的網(wǎng)站。
總之,運用好百度站長平臺的抓取異常這個欄目選項,你就能找到百度蜘蛛在抓取網(wǎng)頁的時候遇到的瓶頸,解決掉這些對蜘蛛爬取的有阻攔的問題,你就能把所有在百度已經(jīng)收錄的頁面統(tǒng)計出來,然后根據(jù)不同的問題解決掉就可以了。網(wǎng)站抓取問題解決了,百度收錄量就會duang,duang,duang的瘋漲了。
以上就是對用百度排查已收錄頁面網(wǎng)址的異常的四個方面全部內(nèi)容的介紹,更多內(nèi)容請繼續(xù)關(guān)注腳本之家!