寫爬蟲,是一個非??简?yàn)綜合實(shí)力的活兒。有時候,你輕而易舉地就抓取到了想要的數(shù)據(jù);有時候,你費(fèi)盡心思卻毫無所獲。
好多Python爬蟲的入門教程都是一行代碼就把你騙上了“賊船”,等上了賊船才發(fā)現(xiàn),水好深~比如爬取一個網(wǎng)頁可以是很簡單的一行代碼:
r = requests.get('http://news.baidu.com')
非常的簡單,但它的作用也僅僅是爬取一個網(wǎng)頁,而一個有用的爬蟲遠(yuǎn)遠(yuǎn)不止于爬取一個網(wǎng)頁。
一個有用的爬蟲,只需兩個詞來衡量:
數(shù)量:能否抓全所有該類數(shù)據(jù)
效率:抓完所有數(shù)據(jù)需要多久一天還是一個月
但要做到這兩個詞,卻是要下很多功夫。自己下功夫是一方面,也很重要的是你要抓全的目標(biāo)網(wǎng)站給你出了多少難題。綜合起來,就寫一個爬蟲有多少難度。
網(wǎng)絡(luò)爬蟲難度一:只需爬取html網(wǎng)頁但要上規(guī)模
這里我們舉個新聞爬蟲的例子。大家都用過百度的新聞搜索吧,我就拿它的爬蟲來講講實(shí)現(xiàn)上的難度。
新聞網(wǎng)站基本上不設(shè)防,新聞內(nèi)容都在網(wǎng)頁的html代碼里了,抓全一個網(wǎng)頁基本上就是一行的事情。似乎聽上去很簡單,但對于一個搜索引擎級的爬蟲,就不那么簡單了,要把幾千幾萬家新聞網(wǎng)站的新聞都及時抓取到也不是一件容易的事情。
我們先看看新聞爬蟲的簡單流程圖:
從一些種子網(wǎng)頁開始,種子網(wǎng)頁往往是一些新聞網(wǎng)站的首頁,爬蟲抓取網(wǎng)頁,從中提取網(wǎng)站URL放到網(wǎng)址池再進(jìn)行抓取。這樣就從幾個網(wǎng)頁開始,不斷擴(kuò)展到其它網(wǎng)頁。爬蟲抓取的網(wǎng)頁也越來越多,提取出的新網(wǎng)網(wǎng)址也會成幾何級數(shù)增長。
如何能在最短時間抓取更多網(wǎng)址?
這就是其中一個難度,這不是目標(biāo)網(wǎng)址帶來的,而是對我們自身自愿的考驗(yàn):
我們的帶寬夠嗎
我們的服務(wù)器夠嗎,單臺不夠就要分布式
如何能及時抓取到最新的新聞?
這是效率之外的另一個難度,如何保證及時性?幾千家新聞網(wǎng)站,時刻都在發(fā)布最新新聞,爬蟲在織網(wǎng)式抓取“舊”新聞的同時,如何兼顧獲取“新”新聞呢?
如何存儲抓取到的海量新聞?
爬蟲織網(wǎng)式的爬取,會把每個網(wǎng)站幾年前幾十年前的新聞網(wǎng)頁都給翻出來,從而獲得海量的網(wǎng)頁需要存儲。就是存儲上的難度。
如何清理提取網(wǎng)內(nèi)容?
從新聞網(wǎng)頁的html里面快速、準(zhǔn)確提取想要的信息數(shù)據(jù),比如標(biāo)題、發(fā)布時間、正文內(nèi)容等,這又帶來內(nèi)容提取上的難度。
網(wǎng)絡(luò)爬蟲難度二:需要登錄才能抓到想要的數(shù)據(jù)
人是貪婪的,想要的數(shù)據(jù)無窮盡,但是很多數(shù)據(jù)不是你輕易就可以獲得的。有一大類數(shù)據(jù)就是需要賬戶登錄后才能看到,也就是說,爬蟲請求時必須是登錄狀態(tài)才能抓取數(shù)據(jù)。
如何獲取登錄狀態(tài)?
老猿前面已經(jīng)說過了,http協(xié)議的性質(zhì)決定了登錄狀態(tài)就是一些cookies,那么如何獲得登錄狀態(tài)就是一個非常有難度的問題。
有些網(wǎng)站登錄過程很簡單,把賬戶、密碼發(fā)給服務(wù)器,服務(wù)器驗(yàn)證通過返回表示已登錄的cookies。這樣的網(wǎng)站,比較容易實(shí)現(xiàn)自動登錄,爬蟲運(yùn)行過程全程無需人工干預(yù),你就有更多時間喝茶、聊天、上猿人學(xué)看python。
如何處理驗(yàn)證碼?
然而,網(wǎng)站們既然要求你登錄了,他們就不會這么輕易放過你,要做的更絕才能讓小猿們善罷甘休,那就是上驗(yàn)證碼!
沒錯,就是變態(tài)的驗(yàn)證碼。
有的運(yùn)用社會工程,進(jìn)行人工識別驗(yàn)證碼;也有,通過圖像處理技術(shù),尤其如今火熱的深度學(xué)習(xí)、人工智能的技術(shù),來自動識別驗(yàn)證碼。
那么,當(dāng)你寫爬蟲時遇到驗(yàn)證碼該怎么辦?
網(wǎng)絡(luò)爬蟲難度三:異步加載甚至JavaScript解密
前面的兩個難度,都是靠我們研究數(shù)據(jù)加載過程,然后用Python代碼可以重現(xiàn)出來,進(jìn)行抓取的。
而遇到達(dá)第三個難度時,研究數(shù)據(jù)加載過程會讓你十分痛苦、近乎崩潰。異步加載流程和服務(wù)器來來回回好多次,最后得到的數(shù)據(jù)還要通過JavaScript解密才能看到,這都是壓垮小猿們的最后一根稻草。
有沒有終極大招可以破解呢?
網(wǎng)絡(luò)爬蟲難度四:APP的抓取
APP連包都抓不到
抓包是寫爬蟲組裝請求數(shù)據(jù)的基礎(chǔ)條件,對APP抓包的繁復(fù)度遠(yuǎn)超網(wǎng)站,APP對代理抓包的檢測,對網(wǎng)絡(luò)請求庫的混淆,使用socket通信等阻擋了相當(dāng)部分爬蟲選手。
請求Token參數(shù)的加密
APP請求參數(shù)的組裝是一個黑盒,不一窺參數(shù)的組裝流程,請求不到數(shù)據(jù);APP repsonse回來的數(shù)據(jù)可能是二進(jìn)制或編碼過,不知道如何解碼還原,抓下來數(shù)據(jù)也只能望洋興嘆。
要能正確抓取APP數(shù)據(jù)就需要具備網(wǎng)絡(luò)安全行業(yè)的初中級知識。
總結(jié)了一下這爬蟲的一些難度,明年應(yīng)該會結(jié)合一些實(shí)際示例來講解如何破解這些不同程度的難題。
-
代碼
+關(guān)注
關(guān)注
30文章
4900瀏覽量
70771 -
python
+關(guān)注
關(guān)注
56文章
4827瀏覽量
86795 -
爬蟲
+關(guān)注
關(guān)注
0文章
83瀏覽量
7512
發(fā)布評論請先 登錄
設(shè)置RDP等級為2的同時,有什么辦法可以確保后續(xù)還能夠燒錄程序?

煤炭揮發(fā)分等級分類標(biāo)準(zhǔn) #煤炭化驗(yàn)#煤質(zhì)化驗(yàn)員 #煤炭化驗(yàn)設(shè)備 #煤質(zhì)化驗(yàn)室儀器 #揮發(fā)分

煤炭灰分等級分類標(biāo)準(zhǔn)及依據(jù) #煤炭化驗(yàn) #煤質(zhì)檢測 #煤炭化驗(yàn)設(shè)備 #煤質(zhì)檢測儀器
流量傳感器在半導(dǎo)體芯片測試的分選機(jī)中應(yīng)用

評論