建立符合搜索抓取習慣的網站
作者:百度站長平(ping)臺lee 發布時間:2013年9月12日(ri)
編者按:前(qian)兩周簡要(yao)(yao)地給大(da)家介(jie)紹了搜索抓(zhua)取系(xi)統工(gong)作原理,根(gen)據該工(gong)作原理今天簡要(yao)(yao)介(jie)紹一(yi)下如何建(jian)立網站是符合搜索引(yin)擎抓(zhua)取系(xi)統習慣的。
1、簡單(dan)明了(le)的(de)網站結構
Spider抓取相當于對web這(zhe)個(ge)(ge)有(you)向圖(tu)進行(xing)遍歷,那么一個(ge)(ge)簡單明(ming)了結構層次分明(ming)的(de)網(wang)站肯定是它所喜(xi)歡的(de),并盡量保證(zheng)spider的可讀性。
(1)樹(shu)型(xing)結構(gou)*優的結構即(ji)“首(shou)頁(ye)—頻道—詳(xiang)情(qing)頁(ye)”;
(2)扁平首頁到(dao)詳情頁的(de)層次盡量(liang)少,既(ji)對抓取友好又可以(yi)很好的(de)傳(chuan)遞(di)權重(zhong)。
(3)網狀保證每(mei)個頁面都*少有一個文本鏈(lian)接指向,可以使網站盡可能全面的被抓取收錄(lu),內鏈(lian)建設同樣對排序能夠產生積極作用。
(4)導(dao)航為每個(ge)頁面加一個(ge)導航方(fang)便(bian)用戶(hu)知曉所在路徑。
(5)子域與(yu)目錄(lu)的選擇相信有大批的(de)站長對此有疑問(wen),在我們看來,當內容(rong)(rong)較少并且內容(rong)(rong)相關度較高時建(jian)議(yi)以(yi)目錄形(xing)式來實現(xian),有利于權重的(de)繼承與收斂(lian);當內容(rong)(rong)量較多并且與主站相關度略差時建(jian)議(yi)再(zai)以(yi)子域的(de)形(xing)式來實現(xian)。
2、簡潔美觀(guan)的url規則
(1)**性網(wang)站中同一內容頁只(zhi)與**一個url相對應,過多形式(shi)的(de)url將(jiang)分散該(gai)頁面的(de)權重(zhong),并且目標url在系統中有被濾重(zhong)的風險;
(2)簡(jian)潔性(xing)動態參數盡(jin)量少(shao),保(bao)證url盡(jin)量短;
(3)美觀性使得用(yong)戶及機器能夠通過url即可(ke)判斷出(chu)頁面內容(rong)的主旨;
我們推薦(jian)如(ru)下(xia)形式的url:url盡量短且易讀使得用戶能夠(gou)快速(su)理解(jie),例如使用拼音(yin)作為目(mu)錄名稱;同一內容(rong)在系(xi)統中(zhong)只產生**的(de)url與之對應,去掉無意(yi)義(yi)的(de)參數;如果無法保證url的**性,盡量使不(bu)同(tong)形式的url301到目(mu)標(biao)url;防止用(yong)戶輸(shu)錯的備(bei)用(yong)域(yu)名301*主域名。
3、其他(ta)注意事項
(1)不要忽略倒霉的robots文件,默認(ren)情況下(xia)部(bu)分系統(tong)robots是(shi)封禁搜索引擎抓(zhua)取的,當網站建立后及(ji)時查看并書寫合適的robots文(wen)件(jian),網(wang)站日常(chang)維護過程中也要注意定期檢查(cha);
(2)建(jian)立網站(zhan)sitemap文件、死(si)鏈文件,并(bing)及時通(tong)過(guo)百度(du)站長平臺進(jin)行提交(jiao);
(3)部分電(dian)商網站存在(zai)地域跳轉問題,有(you)貨無貨建議統一(yi)做(zuo)成一(yi)個頁面,在(zai)頁面中標識(shi)有(you)無貨即可,不(bu)要此地區(qu)無貨即返(fan)回一(yi)個無效頁面,由于spider出口(kou)的(de)有限性將造成(cheng)正常(chang)頁面無法(fa)收錄。
(4)合(he)理利(li)用站長平臺提供的robots、sitemap、索引(yin)量、抓取(qu)壓(ya)力、死鏈(lian)提交、網站(zhan)改版(ban)等工具。