網絡爬蟲是否合法

網絡爬蟲在大多數(shù)情況中都不違法，其實我們生活中幾乎每天都在爬蟲應用，如百度，你在百度中搜索到的內容幾乎都是爬蟲采集下來的（百度自營的產品除外，如百度知道、百科等），所以網絡爬蟲作為一門技術，技術本身是不違法的，且在大多數(shù)情況下你都可以放心大膽的使用爬蟲技術。

爬蟲作為一種計算機技術就決定了它的中立性，因此爬蟲本身在法律上并不被禁止，但是利用爬蟲技術獲取數(shù)據(jù)這一行為是具有違法甚至是犯罪的風險的。所謂具體問題具體分析，正如水果刀本身在法律上并不被禁止使用，但是用來捅人，就不被法律所容忍了。

或者我們可以這么理解：爬蟲是用來批量獲得網頁上的公開信息的，也就是前端顯示的數(shù)據(jù)信息。因此，既然本身就是公開信息，其實就像瀏覽器一樣，瀏覽器解析并顯示了頁面內容，爬蟲也是一樣，只不過爬蟲會批量下載而已，所以是合法的。不合法的情況就是配合爬蟲，利用黑客技術攻擊網站后臺，竊取后臺數(shù)據(jù)（比如用戶數(shù)據(jù)等）。

舉個例子：像谷歌這樣的搜索引擎爬蟲，每隔幾天對全網的網頁掃一遍，供大家查閱，各個被掃的網站大都很開心。這種就被定義為“善意爬蟲”。但是像搶票軟件這樣的爬蟲，對著12306每秒鐘恨不得擼幾萬次，鐵總并不覺得很開心，這種就被定義為“惡意爬蟲”。

如何在使用爬蟲時避免違法犯罪

1、嚴格遵守網站設置的robots協(xié)議；

2、在規(guī)避反爬蟲措施的同時，需要優(yōu)化自己的代碼，避免干擾被訪問網站的正常運行；

3、在設置抓取策略時，應注意編碼抓取視頻、音樂等可能構成作品的數(shù)據(jù)，或者針對某些特定網站批量抓取其中的用戶生成內容；

4、在使用、傳播抓取到的信息時，應審查所抓取的內容，如發(fā)現(xiàn)屬于用戶的個人信息、隱私或者他人的商業(yè)秘密的，應及時停止并刪除。