網(wǎng)絡爬蟲常用到的算法

1、深度優(yōu)先算法

該算法是指網(wǎng)絡爬蟲會從選定的一個超鏈接開始，按照一條線路，一個一個鏈接訪問下去，直到達到這條線路的葉子節(jié)點，即不包含任何超鏈接的HTML文件，處理完這條線路之后再轉(zhuǎn)入下一個起始頁，繼續(xù)訪問新的起始頁面所包含的鏈接中的一條，直到到達葉子結(jié)點。這個方法有個優(yōu)點是網(wǎng)絡爬蟲在設計的時候比較容易。

2、廣度優(yōu)先算法

廣度優(yōu)先算法是指網(wǎng)絡爬蟲會先抓取起始網(wǎng)頁中包含鏈接的所有網(wǎng)頁，然后再選擇其中的一個鏈接網(wǎng)頁，繼續(xù)抓取在這個網(wǎng)頁中鏈接的所有網(wǎng)頁。這種搜索方法是實現(xiàn)通用網(wǎng)絡爬蟲的最佳方法，因為它的特點是易于實現(xiàn)，并且能夠避免陷進一個無窮盡的深層分支中去，可以讓網(wǎng)絡爬蟲并行處理，從而提高其抓取速度。

3、啟發(fā)式搜索算法

源于人工智能，即先通過在線獲得的領(lǐng)域知識評價待訪問鏈接的價值，借以推斷信息資源的分布情況，然后按一定的原則選擇價值最大的鏈接進行下一步的搜索，找到到達目標節(jié)點的最佳路徑，刪除不好節(jié)點，保留那些好的節(jié)點，該算法主要用于主題爬蟲。

網(wǎng)絡爬蟲的分析算法

爬蟲節(jié)點爬取到的網(wǎng)頁數(shù)據(jù)會存放到資源庫中，資源庫對爬取到的數(shù)據(jù)進行分析并建立索引，分析算法有以下幾種：

（1）基于用戶行為的分析算法：根據(jù)用戶對網(wǎng)頁的訪問頻率、訪問時長、點擊率等對網(wǎng)頁數(shù)據(jù)進行分析。

（2）基于網(wǎng)絡拓撲的分析算法：根據(jù)網(wǎng)頁的外鏈、網(wǎng)頁的層次、網(wǎng)頁的等級等對網(wǎng)頁數(shù)據(jù)進行分析，計算出網(wǎng)頁的權(quán)重，對網(wǎng)頁進行排名。

（3）基于網(wǎng)頁內(nèi)容的分析算法：根據(jù)網(wǎng)頁的外觀、網(wǎng)頁的文本等內(nèi)容特征對網(wǎng)頁數(shù)據(jù)進行分析。