上個月初，我入職了一家公司，正式開啟了我的爬蟲職業(yè)生涯。雖然之前自學或者說自己鉆研并編寫了很多爬蟲，不過當我第一次見到一個完成的爬蟲系統(tǒng)的時候，坦白說，還是覺得挺不可思議的，我大概花了2到3個禮拜對這個系統(tǒng)進行了熟悉，現(xiàn)在在保持對原系統(tǒng)的進行維護的同時，正著手對其進行性能優(yōu)化。隨著理解的深入，我越發(fā)覺得爬蟲工程師的瓶頸其實并不是JS、css之類的前端反混淆技術，也不是requests、BeautifulSoup之類的網頁獲取解析技術，當然也不是僅僅對爬蟲框架的使用。這些技術固然是必須的，但是真正的上升瓶頸還是工程師的素養(yǎng)：如何寫出一個高性能可擴展的爬蟲系統(tǒng)？系統(tǒng)如何兼容數(shù)百個甚至數(shù)千個不同類型的爬取對象（網站）？如何管理這些爬蟲？如何高效的并發(fā)這些爬蟲？如何處理爬取之后的數(shù)據(jù)？各個子系統(tǒng)之間如何交流？和這些問題比起來，對某個特定網站的爬取的問題只能算是個入門級問題。

對爬蟲工程師的理解

我之前寫了很多關于爬蟲的文章，涉及了各種各樣的爬取策略；也爬了不少主流非主流的網站。從我剛入門爬蟲到現(xiàn)在，每一個爬蟲對應的文章都可以在我的博客上找到，不論是最最簡單的抓取，還是scrapy的使用。

然而爬了這么多網站，按理說應付一位爬蟲工程師的工作應該綽綽有余吧？當然不是，正如我上文所說，在整個爬蟲系統(tǒng)中，如何抓取某個特定的網站其實是最小的任務模塊。而對于一個有爬蟲需求的公司而言，一個能夠長期穩(wěn)定運行的爬蟲系統(tǒng)才是基本需求。

我從另外一個角度解釋一下這個問題，如果我們將“爬取某個頁面”稱為一個爬蟲任務。那么一般而言，我們會需要定期執(zhí)行這個爬蟲任務以滿足業(yè)務上的需求。比如說，我這有一個爬蟲任務是“爬取某只股票的當前價格”，那么我可能會要求每10s執(zhí)行一次這個爬蟲任務以達到匯至股價走勢的目的。問題就來了，爬蟲系統(tǒng)如何保證每10s執(zhí)行這個爬蟲任務呢？time.sleep（10）？ crontab？open_signal？send_task？

最簡單的，你可以讓程序執(zhí)行一次爬蟲任務后sleep10秒，然后無限重復這個循環(huán)。嗯，如果只有一個任務，理論上是可行的，此時這個程序就是一種爬蟲系統(tǒng)。那么比這種解決方案略微高端一點的就是寫一個定時任務，每10秒執(zhí)行一下，這下連爬蟲系統(tǒng)都省了。

但是如果這種爬蟲任務有很多呢？比如說，我要繪制1000個不同股票的股價走勢圖。簡單一點的可以將爬蟲任務改成可接受參數(shù)式的，每10s中傳入1000個參數(shù)（股票代碼）并用多進程或異步執(zhí)行這些任務。用scrapy也可以解決這個問題，scrapy其實非常適合這個場景，但是scrapy沒有定時任務，這個時候可能又會需要用到scrapyd和celery。接著，如果有100W個爬蟲任務呢？雖然有些爬蟲只需要簡單調整一下參數(shù)，這些任務可以當成同一類爬蟲，但即使去除這些同類型爬蟲，仍然會剩下不同類型的爬蟲任務，比如說30W？那么這30W個任務我們怎么處理，不可能在一個scrapy里寫30W個spider？然后還會涉及到調度，因為每個爬蟲的抓取頻率可能是不一樣的；管理，爬蟲任務可能會根據(jù)產品需求出現(xiàn)增刪的情況；爬取結果處理，比如說去重（對100W個結果去重本身也是個不小的事情）、存儲等等。

另外，一個健康的爬蟲生態(tài)，一般還需要一個代理池，一個網頁渲染服務器，像爬微博的話可能還需要Cookie池，然后這個系統(tǒng)本身應該是高可用高可擴展的。隨著爬蟲任務數(shù)量的增加，各個地方都有可能產生性能瓶頸。這也是我為什么說，爬取任務其實是最小的一環(huán)，對于單次任務的執(zhí)行速度，甚至有時候它的成敗都不是關鍵。

插一句，scrapy仍然是一個很強大很厲害的框架，它是我目前認知里最牛逼的爬蟲框架。它的厲害不在于它可以方便的編寫一個爬蟲，而是它的模塊定制功能，你可以根據(jù)實際的產品需求，通過調整中間件或者調度器方便的實現(xiàn)你想要的功能。

但是有時候偶爾會出現(xiàn)一些反爬特別厲害的網站，這個時候就需要對其進行單獨的研究了。另外，我以為手機端抓取其實是一個很關鍵的手段，現(xiàn)在的手機性能強大，能做的事情實在是太多了，只是大多數(shù)時候被人忽略了。個人以為這可能會變成今后一個主流的抓取手段。今后我也會開始學習這方面的知識。