網(wǎng)絡(luò)爬蟲是否合法

網(wǎng)絡(luò)爬蟲在大多數(shù)情況中都不違法，其實(shí)我們生活中幾乎每天都在爬蟲應(yīng)用，如百度，你在百度中搜索到的內(nèi)容幾乎都是爬蟲采集下來的（百度自營的產(chǎn)品除外，如百度知道、百科等），所以網(wǎng)絡(luò)爬蟲作為一門技術(shù)，技術(shù)本身是不違法的，且在大多數(shù)情況下你都可以放心大膽的使用爬蟲技術(shù)。

爬蟲作為一種計(jì)算機(jī)技術(shù)就決定了它的中立性，因此爬蟲本身在法律上并不被禁止，但是利用爬蟲技術(shù)獲取數(shù)據(jù)這一行為是具有違法甚至是犯罪的風(fēng)險(xiǎn)的。所謂具體問題具體分析，正如水果刀本身在法律上并不被禁止使用，但是用來捅人，就不被法律所容忍了。

或者我們可以這么理解：爬蟲是用來批量獲得網(wǎng)頁上的公開信息的，也就是前端顯示的數(shù)據(jù)信息。因此，既然本身就是公開信息，其實(shí)就像瀏覽器一樣，瀏覽器解析并顯示了頁面內(nèi)容，爬蟲也是一樣，只不過爬蟲會(huì)批量下載而已，所以是合法的。不合法的情況就是配合爬蟲，利用黑客技術(shù)攻擊網(wǎng)站后臺(tái)，竊取后臺(tái)數(shù)據(jù)（比如用戶數(shù)據(jù)等）。

舉個(gè)例子：像谷歌這樣的搜索引擎爬蟲，每隔幾天對全網(wǎng)的網(wǎng)頁掃一遍，供大家查閱，各個(gè)被掃的網(wǎng)站大都很開心。這種就被定義為“善意爬蟲”。但是像搶票軟件這樣的爬蟲，對著12306每秒鐘恨不得擼幾萬次，鐵總并不覺得很開心，這種就被定義為“惡意爬蟲”。

如何在使用爬蟲時(shí)避免違法犯罪

1、嚴(yán)格遵守網(wǎng)站設(shè)置的robots協(xié)議；

2、在規(guī)避反爬蟲措施的同時(shí)，需要優(yōu)化自己的代碼，避免干擾被訪問網(wǎng)站的正常運(yùn)行；

3、在設(shè)置抓取策略時(shí)，應(yīng)注意編碼抓取視頻、音樂等可能構(gòu)成作品的數(shù)據(jù)，或者針對某些特定網(wǎng)站批量抓取其中的用戶生成內(nèi)容；

4、在使用、傳播抓取到的信息時(shí)，應(yīng)審查所抓取的內(nèi)容，如發(fā)現(xiàn)屬于用戶的個(gè)人信息、隱私或者他人的商業(yè)秘密的，應(yīng)及時(shí)停止并刪除。