蜘蛛陷阱是阻止蜘蛛程序爬行網(wǎng)站的障礙物，通常是那些顯示網(wǎng)頁的技術(shù)方法，目前很多瀏覽器在設(shè)計(jì)的時(shí)候考慮過這些因素，所以可能網(wǎng)頁界面看起來非常正常，但這些蜘蛛陷阱會(huì)對(duì)蜘蛛程序造成障礙。

如果消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網(wǎng)頁。蜘蛛陷阱也是以前常常使用的黑帽方式之一，就是用一些動(dòng)態(tài)網(wǎng)站代碼中，寫一個(gè)無線循環(huán)的頁面，使得蜘蛛爬進(jìn)去后在這個(gè)無窮循環(huán)中輪回收錄，這樣雖然會(huì)使得網(wǎng)站疾速進(jìn)步排名，但也會(huì)隨時(shí)給我們網(wǎng)站帶來k站的影響，所以建議大家最好不要使用。特別是搜索引擎頻繁調(diào)整算法的時(shí)期。

搜索引擎蜘蛛抓取結(jié)構(gòu)原理

在此也簡單為大家介紹幾種易導(dǎo)致蜘蛛陷阱的建站技術(shù)：

1、Flash動(dòng)畫

有得網(wǎng)站喜歡在首頁放一個(gè)Flash動(dòng)畫片頭、用戶訪問網(wǎng)站看完片頭后被轉(zhuǎn)向得真正得HTML版本得文字網(wǎng)站首頁。但搜索引擎不能讀取Flash、一般也沒辦法從FlashIntro跟蹤到HTML版本頁面。如果Flash效果是必需得、至少也需要在首頁加上一個(gè)通往HTML版本得鏈接。這個(gè)鏈接應(yīng)該是在Flash文件之外得HTML代碼中、搜索引擎跟蹤這個(gè)鏈接可以抓取后面得HTML版本頁面。

2、Session ID

有些網(wǎng)站使用Session ID跟蹤用戶訪問、每個(gè)用戶訪問網(wǎng)站時(shí)都會(huì)生成獨(dú)特唯一得SessionID、加在URL中。搜索引擎蜘蛛的每一次訪問也會(huì)被當(dāng)成一個(gè)新得用戶、URL中會(huì)加上一個(gè)不同得SessionID，這樣搜索引擎蜘蛛每次來訪問時(shí)所得到得同一個(gè)頁面得URL將不一樣、后面帶著一個(gè)不一樣得SessionID。這也是最常見得蜘蛛陷進(jìn)之一。這樣就會(huì)產(chǎn)生了同一個(gè)頁面但URL不同的情況，但這種方法會(huì)產(chǎn)生復(fù)制內(nèi)容頁面，造成了高度重復(fù)的內(nèi)容頁。

3、框架結(jié)構(gòu)

對(duì)搜索引擎來說、方位一個(gè)使用框架得網(wǎng)址所專區(qū)得HTML只包含其他HTML文件得代碼、并不包含任何文字信息、搜索引擎根本無法判斷這個(gè)網(wǎng)址得內(nèi)容是什么。雖然蜘蛛可以跟蹤框架中所調(diào)用得其他HTML文件、但是這些文件經(jīng)常是不完整得頁面、比如沒有導(dǎo)航只是正文。搜索引擎也無法判斷框架中的頁面內(nèi)容應(yīng)該數(shù)屬于主框架、還是屬于框架調(diào)用文件。

4、動(dòng)態(tài)URL

動(dòng)態(tài)URL指得是數(shù)據(jù)庫驅(qū)動(dòng)得網(wǎng)址所生成得、帶有問號(hào)、等號(hào)及參數(shù)得網(wǎng)址。一般來說動(dòng)態(tài)URL不利于搜索引擎蜘蛛爬行、應(yīng)該盡量避免。有的url會(huì)造成蜘蛛的死循環(huán)。

5、JS鏈接

由于Java可以創(chuàng)造出很多吸引人得視覺效果、有些網(wǎng)址喜歡使用Java腳本生成導(dǎo)航系統(tǒng)。這也是比較嚴(yán)重得蜘蛛陷阱之一。雖然搜索引擎都在嘗試解析JS腳本、不過我們不能寄希望于搜索引擎自己去克服困難、而要讓搜索引擎跟蹤爬行鏈接得工作盡量簡單容易。

6、要求登錄

有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到得會(huì)員區(qū)域、這部分內(nèi)容搜索引擎無法看到。蜘蛛不能填寫用戶名、密碼、也不會(huì)注冊(cè)。

7、強(qiáng)制使用Cookies

有些網(wǎng)站為了實(shí)現(xiàn)某種功能、如記住用戶登錄信息、跟蹤用戶訪問路徑等、強(qiáng)制用戶使用Cookies、用戶瀏覽器如果沒有啟用Cookies、頁面顯示不正常。搜索引擎蜘蛛就相當(dāng)于一個(gè)禁用Cookies得瀏覽器、強(qiáng)制使用Cookies只能造成搜索引擎蜘蛛無法正常訪問。