軍哥SEO學堂,即將開課啦      · 火熱·招生進行中  趕緊掃碼報名學習SEO !!!
當前位置: SEO教程 > SEO學堂 >

如何使用Robots來處理網站死鏈接

時間:2015-07-05 09:54來源:實踐整理 作者:軍哥SEO學堂 點擊:
覺得今天很有必要跟大家分享一下Robots與死鏈的關系,這幾天已經遇到了好幾個SEOer在混淆這兩個概念了,老是把Robot的應用與死鏈的處理,搭配到一起去使用,Seven足足碼字好幾百,聊天記錄都說了兩頁了,回頭還是問了句,怎么在robot中寫死鏈提交,我在想一

覺得今天很有必要跟大家分享一下Robots與死鏈的關系,這幾天已經遇到了好幾個SEOer在混淆這兩個概念了,老是把Robot的應用與死鏈的處理,搭配到一起去使用,Seven足足碼字好幾百,聊天記錄都說了兩頁了,回頭還是問了句,“怎么在robot中寫死鏈提交”,我在想一定是我表達的方式不對,下面給大家捋捋思路:

 

Robot的應用:主要用于定義允許/禁止哪些搜索引擎蜘蛛的爬取,允許/禁止蜘蛛可以爬取的網站路徑,允許/禁止蜘蛛爬取URL的規則,告訴某些搜索引擎網站地圖的URL,例如我的Robot就簡單簡單定義了幾個規則:
本博客的Robot協議

死鏈的處理:這里針對百度搜索引擎討論,主要還是到站長工具里面,把死鏈提交給百度,告訴百度這個鏈接不存在,請求刪除之前的收錄,這里是以txt或xml形式批量提交死鏈給百度;
死鏈提交

 

現在談談死鏈與Robot的關系,很多人就把死鏈提交到Robots定義里面,認為用Disallow來禁止百度蜘蛛的抓取,這個想法是好的,出發點無非是不想讓百度收錄自己網站的死鏈,但是有沒有考慮到快照問題,就是這個鏈接是個死鏈,但是在網站收錄里面還有快照存在,你就會想,是不是百度還能抓取到我的死鏈,所以你就在Robot里面加了N多行的Disallow,來禁止百度收錄你的死鏈,seven一直不太認可這么一個做法,其實這完全是一個本末倒置的做法。

 

需要搞清楚死鏈是如何產生的?死鏈是由于文件刪除或者路徑修改產生的不可訪問的鏈接,那么你需要做的第一步是完全清除死鏈,第二步是提交死鏈,而Robots的禁止收錄,是因為路徑存在,但是你不希望被搜索引擎收錄,比如網站后臺或者用戶中心一類,所以才加的Disallow去禁止收錄,死鏈是訪問不到的鏈接,如果你第一步清除完了,存在這個Disallow的必要嗎?因為你不完全清除死鏈,勢必影響用戶體驗。

 

總結:死鏈是必須清除的,對于搜索引擎而言,網站收錄之前的死鏈一般不會被收錄,因為沒有價值;收錄之后的死鏈,可能用戶會在搜索結果或者站內瀏覽時點擊到,影響用戶體驗,所以必須提交死鏈和投訴快照加快死鏈處理。robots與死鏈的關系很微妙,差別就在于這個死鏈地址是否還存在于網站內鏈當中。

(本文"如何使用Robots來處理網站死鏈接"的責任編輯:SEO學堂)
軍哥SEO學堂

軍哥SEO學堂

   火熱招生中

       實力培訓,趕緊左側掃碼報名

  掃一掃右側的順時網絡公眾號


  關注順時網絡公眾號

  時刻關注順時最新瞬間

  精彩等你關注掃左側碼呈現

順時科技公眾號
頂一下
(0)
0%
踩一下
(0)
0%
------分隔線----------------------------
相關推薦
熱線QQ客服
在線QQ咨詢
掃一掃

掃一掃
軍哥贈送神秘大禮

全國免費服務熱線
18025383583

掃一掃

掃一掃
軍哥贈送神秘大禮

全國免費服務熱線
13924653483

返回頂部
白小姐平马