公司新聞 行業(yè)資訊 網(wǎng)絡(luò )診斷 周年專(zhuān)題 大事記

抓取診斷工具常見(jiàn)錯誤類(lèi)型解析

2021-7-10 閱讀數:6649

什么是抓取診斷呢?這對于熟悉的SEOER來(lái)說(shuō)比較熟悉,可以讓站長(cháng)從百度蜘蛛的視角查看抓取內容,自助診斷百度蜘蛛看到的內容,和預期是否一致。每個(gè)站點(diǎn)每周可使用70次,抓取結果只展現百度蜘蛛可見(jiàn)的前200KB內容。接下來(lái)的內容濰坊網(wǎng)站建設簡(jiǎn)單介紹一下,抓取診斷工具常見(jiàn)錯誤類(lèi)型解析。

1,【url規范】

百度支持抓取的url長(cháng)度不超過(guò)1024,如果您的鏈接長(cháng)度過(guò)長(cháng),請在保證正常訪(fǎng)問(wèn)的情況下,適當精簡(jiǎn),保證鏈接能被百度正常抓取和收錄。

2,【重定向錯誤】

重定向是指百度spider訪(fǎng)問(wèn)鏈接時(shí)發(fā)生了跳轉,如果跳轉后的鏈接超長(cháng)或者連續跳轉的次數超過(guò)5次,就會(huì )發(fā)生重定向錯誤而導致抓取失敗。

3,【服務(wù)器連接錯誤】

這種情況是指,由于服務(wù)器響應過(guò)慢或您的網(wǎng)站屏蔽了百度spider,而導致百度無(wú)法訪(fǎng)問(wèn)您的網(wǎng)站。從而會(huì )導致百度無(wú)法正常收錄或者更新您網(wǎng)站的內容。您可能看到以下具體錯誤:連接超時(shí)、連接失敗、連接被拒、無(wú)響應、響應遭到截斷、連接重置、標頭遭到截斷、超時(shí)。

4,【robots封禁問(wèn)題】

在抓取診斷工具中如果返回的抓取失敗結論是robots封禁,請確認您是否對該網(wǎng)址設置了robots,阻止百度spider抓取網(wǎng)站的某些內容,如果您未使用robots文件屏蔽百度,請點(diǎn)擊旁邊的報錯鏈接,百度會(huì )立即更新您站點(diǎn)的robots信息;如果是您的誤操作導致了封禁,請及時(shí)修改robots文件,避免造成您的網(wǎng)站在百度收錄量和流量的下降。

5,【DNS問(wèn)題】

DNS錯誤是指由于服務(wù)器停止運行或DNS到您網(wǎng)域的路由存在問(wèn)題,導致百度spider無(wú)法與DNS服務(wù)器通信。

6,【404錯誤】

一般情況下,當百度spider訪(fǎng)問(wèn)到不存在的網(wǎng)頁(yè)(因為您刪除或重命名了網(wǎng)頁(yè)且沒(méi)有將舊網(wǎng)址重定向到新網(wǎng)頁(yè),或者鏈接中存在拼寫(xiě)錯誤)時(shí),就會(huì )出現“未找到”狀態(tài)錯誤(通常是404 HTTP狀態(tài)代碼)。

抓取診斷工具常見(jiàn)錯誤類(lèi)型解析