爬蟲技術涉案大數(shù)據(jù)分析及法律解讀

爬蟲技術作為一種前端獲取網(wǎng)站信息數(shù)據(jù)的技術，在目前大數(shù)據(jù)應用的背景下，異常火熱。但是由于使用者的不謹慎，也出現(xiàn)了很多涉案甚至涉罪情況。技術本身是無罪的，但是不代表使用技術的人也無罪。

許多律師在寫一些關于目前爬蟲技術的法律文章的時候，常常會將定點爬蟲和搜索引擎爬蟲給搞混淆，有的也給出了錯誤或者較為過時的定義與理解。作為不熟悉技術的法律人士，其實也在所難免。其實我們常常講的爬蟲技術，與搜索引擎的爬蟲引擎是完全不同的，其根本目的，是通過對指定網(wǎng)站進行解析，自動并且批量獲取前端展示的數(shù)據(jù)。簡單來說，就是一種信息采集技術，“爬蟲”的稱呼，只是一種俗稱，我更愿意科學地稱其為“網(wǎng)站信息自動化采集技術”。本文以下所稱的爬蟲，皆為定向爬蟲。

爬蟲技術不是什么高深的技術，更不是什么“黑客技術”，甚至對于一些靜態(tài)網(wǎng)站，一個大學編程初學者，都可以輕松掌握自動化采集信息的技術。目前主流的爬蟲技術大致可以歸類為兩類：

1、 網(wǎng)站渲染后，通過正則表達式匹配前端代碼，獲取所需信息，以此往復。

2、 不通過網(wǎng)站渲染，或只經(jīng)過少量渲染，直接通過網(wǎng)站的API接口進行動態(tài)調用。

技術含量高一點的爬蟲技術，都是跳過網(wǎng)頁靜態(tài)內容的渲染，直接調用動態(tài)API接口，以達到最高效獲取信息的目的。部分法律人士認為這是跳過了網(wǎng)站驗證機制，我覺得得個案細分，畢竟絕大多數(shù)的網(wǎng)站（99%），API接口都是直接暴露的。

如果讀者是法律從業(yè)人員，首先需要明確以下幾點，可能才能更好的理解爬蟲技術：

1、爬蟲技術獲取的信息全部都是網(wǎng)站公開信息（或面向爬取者公開）

2、爬蟲技術不會獲取任何被爬取網(wǎng)站的后臺權限

如果違背了以上兩個條件，那就不是爬蟲技術了，就是入侵計算機系統(tǒng)技術了，俗稱“黑客”技術。下面，通過爬蟲技術獲取對裁判文書進行檢索，給大家簡單展示一下，爬蟲技術近年來刑事案件獲罪的情況，部分圖表通過Python語言實現(xiàn)。

（樣本檢索關鍵詞：爬蟲、數(shù)據(jù)抓取、數(shù)據(jù)爬取，時間點截止至2019-11-15，并對不相干的文書進行了刪除，其中一篇文書將“侵犯公民個人信息罪”寫成了“公民個人信息罪”，進行了修正。全部是一審、且二審未大幅度改判的文書數(shù)據(jù)。有效文書共計22篇。）

涉案罪名數(shù)量及比例（餅圖）

（涉案文書地域分布情況）

總結：

以上文書案例，最早的裁判時間為2014-07-07（鄭×等侵犯著作權罪一審刑事判決書），最晚的裁判時間為2019-10-28（北京瑞智華勝科技股份有限公司、周嘉林、黃健等違法運用資金罪一審刑事判決書）。從數(shù)據(jù)中可以看到侵犯公民個人信息罪是重災區(qū)，非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪則是樣本中刑期最重的罪名。

樣本中較為受人關注的案件有“上海晟品網(wǎng)絡科技有限公司、侯明強等非法獲取計算機信息系統(tǒng)數(shù)據(jù)罪一審刑事判決書”，俗稱“今日頭條爬蟲案”。感興趣的讀者可以搜索筆者的另一篇文章《爬蟲獲取數(shù)據(jù)獲刑案件解析及無罪論點探討》

如果你是程序員讀者或者大數(shù)據(jù)從業(yè)者，亦或者是爬蟲工作室，如何區(qū)分罪與非罪的界限，提防職業(yè)風險呢？筆者在此不做過多闡述，僅提出以下幾點意見供參考：

1、不爬取目標網(wǎng)站的個人信息內容以及公民隱私；

2、不交易爬取的目標公司的商業(yè)數(shù)據(jù)；

3、對有版權的內容的爬取應審慎，未獲授權商業(yè)使用則違法。

值得注意的是，在獲得授權的情況下，利用爬蟲技術獲取信息，不違反法律。但是，超出授權內容，再次使用，則有可能觸犯法律。舉例來說，你獲得用戶的授權，利用爬蟲技術調用該用戶的個人信息，不觸犯法律。但是未經(jīng)該用戶許可，再次使用該用戶個人信息，甚至利用該信息牟利，則嚴重違反法律。

最后，筆者想要強調的是，不是公開的信息爬取就是不違法的。比如網(wǎng)站的用戶信息，一樣受到法律保護。但是在處罰爬蟲從業(yè)者的同時，網(wǎng)站對個人信息的公開化處理，更應該受到行政處罰，不應將爬蟲程序員送進牢房而得到豁免。比起不懂法的小作坊程序員，大公司對用戶信息數(shù)據(jù)的濫用和疏于管理，更加令人不齒。對于公檢法工作者以及律師工作者，在面對此類刑事案件中，不要聽到爬蟲技術，就將其妖魔化，關注的重點，還是應該放在獲取方式的合法性上，對絕大多數(shù)情況下來說，對于公開信息的獲取，是很難定義為“非法手段”上去的，因此一定要慎重。對于商業(yè)領域的內容競爭，在民事領域有法律適用的，不要輕易“以刑代民”。不僅會給行業(yè)的普通從業(yè)者帶來恐慌，也會做出負面的引導。

原文標題：我寫的代碼合規(guī)嗎？【HDZ研習社25期】

文章出處：【微信公眾號：華為開發(fā)者社區(qū)】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq