當(dāng)興趣變成職業(yè)時，你對它的愛恨只會越來越鮮明。

我愛爬蟲，因為是它使我進入了互聯(lián)網(wǎng)行業(yè)，讓我在上海立足。我恨爬蟲，它的天花板太低了，后期非常乏力。

做了大半年的爬蟲工程師，給大家總結(jié)總結(jié)爬蟲工程師的四種死法。

一、學(xué)習(xí)能力不強

爬蟲的入門基礎(chǔ)很簡單，首先學(xué)習(xí) Python 的基礎(chǔ)語法，然后掌握 request、xpath、bs4 等常用的爬蟲庫。通過簡單的網(wǎng)站爬取，快速掌握大致的爬蟲流程：分析網(wǎng)站請求、發(fā)生請求、解析數(shù)據(jù)、存儲數(shù)據(jù)。

再進階一點，學(xué)一些簡單的反爬措施，例如添加請求頭、添加 ip 代理、建立 cookie 池等，或者學(xué)習(xí)下 scrapy 框架。用 scrapy 框架寫個完整的爬蟲項目，基本上就可以找到一份滿意的工作了。

基本上現(xiàn)在大部分的培訓(xùn)機構(gòu)采用的都像我上面所說的方法，但這樣培訓(xùn)出來的人基本上對于爬蟲的學(xué)習(xí)能力都不太強。

每個公司根據(jù)自身業(yè)務(wù)的不同，所使用的框架都會有所調(diào)整。比如使用 Kafaka 中間件來發(fā)生消息、用 Mongodb 來存儲數(shù)據(jù)、用 Redis 來緩存一些消息、用 Fildder 來抓包等等。在實際的業(yè)務(wù)過程中，會遭遇很多沒有學(xué)過的東西。

這時候，你的技能樹就不太夠用了，如果學(xué)習(xí)能力不強，在工作過程只會越來越吃力，從而被辭退。

趕不上技術(shù)的迭代，一卒。

二、花樣繁多的驗證碼

判斷一個爬蟲工程師的能力，要看他的反爬能力。爬蟲工作最難的部分就是在破解反爬上，而現(xiàn)在主流的反爬手段就是驗證碼。

但現(xiàn)在的驗證碼越來越變態(tài)，什么樣的形式都有。比如漢字點擊，再難點就是滑塊驗證碼，最變態(tài)就是 12306 的驗證碼，人工手點還不一定正常。甚至有些網(wǎng)站還玩雙重驗證，你好容易過了圖形驗證碼，它還有一個短信驗證。

防不勝防的驗證碼，二卒。

三、 js知識缺乏

如果你沒有學(xué)過js，那么爬蟲就會有新的挑戰(zhàn)。

高端的爬蟲大神，一般都是js大神。所以如果你真的想在爬蟲上有所發(fā)展，那么我建議你可以去深入學(xué)習(xí)js。

不懂 js，三卒。

四、網(wǎng)站改版

上面四步你都弄明白了，但沒過一陣你發(fā)現(xiàn)對方網(wǎng)站改版了，本來正常的代碼，也全部完了。

好不容易你把網(wǎng)站的請求邏輯給整明白，該破解的 js 代碼也破解了，該寫的解析函數(shù)也寫了，爬蟲也正常的運行起來了。但沒過幾天你發(fā)現(xiàn)對方的網(wǎng)站改版了！原本所有可以正常運行的代碼，全部出錯了。。。

網(wǎng)站改版，四卒。