看學習搜索優(yōu)化的文章，都會看到蜘蛛這個詞，它不是我們現(xiàn)實中的動物蜘蛛，它是網(wǎng)絡中的一個很形象的專業(yè)名詞，網(wǎng)絡蜘蛛即Web Spider，互聯(lián)網(wǎng)就像一個蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。蜘蛛實際上是一個以人類無法達到的速度不間斷地執(zhí)行訪問網(wǎng)絡上的網(wǎng)站并抓取網(wǎng)站內(nèi)容任務的軟件程序。而我們所說的蜘蛛來爬網(wǎng)站，即是網(wǎng)站被搜索引擎收錄的過程。

網(wǎng)絡蜘蛛，是從網(wǎng)站某一個頁面開始，讀取網(wǎng)頁的內(nèi)容，并找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址找下一個網(wǎng)頁，這樣一直循環(huán)下去，直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個互聯(lián)網(wǎng)當成一個網(wǎng)站，那么網(wǎng)絡蜘蛛就可以用這個原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。