爬蟲(chóng)技術(shù)涉案大數(shù)據(jù)分析及法律解讀

爬蟲(chóng)技術(shù)作為一種前端獲取網(wǎng)站信息數(shù)據(jù)的技術(shù)，在目前大數(shù)據(jù)應(yīng)用的背景下，異?；馃帷５怯捎谑褂谜叩牟恢?jǐn)慎，也出現(xiàn)了很多涉案甚至涉罪情況。技術(shù)本身是無(wú)罪的，但是不代表使用技術(shù)的人也無(wú)罪。

許多律師在寫(xiě)一些關(guān)于目前爬蟲(chóng)技術(shù)的法律文章的時(shí)候，常常會(huì)將定點(diǎn)爬蟲(chóng)和搜索引擎爬蟲(chóng)給搞混淆，有的也給出了錯(cuò)誤或者較為過(guò)時(shí)的定義與理解。作為不熟悉技術(shù)的法律人士，其實(shí)也在所難免。其實(shí)我們常常講的爬蟲(chóng)技術(shù)，與搜索引擎的爬蟲(chóng)引擎是完全不同的，其根本目的，是通過(guò)對(duì)指定網(wǎng)站進(jìn)行解析，自動(dòng)并且批量獲取前端展示的數(shù)據(jù)。簡(jiǎn)單來(lái)說(shuō)，就是一種信息采集技術(shù)，“爬蟲(chóng)”的稱(chēng)呼，只是一種俗稱(chēng)，我更愿意科學(xué)地稱(chēng)其為“網(wǎng)站信息自動(dòng)化采集技術(shù)”。本文以下所稱(chēng)的爬蟲(chóng)，皆為定向爬蟲(chóng)。

爬蟲(chóng)技術(shù)不是什么高深的技術(shù)，更不是什么“黑客技術(shù)”，甚至對(duì)于一些靜態(tài)網(wǎng)站，一個(gè)大學(xué)編程初學(xué)者，都可以輕松掌握自動(dòng)化采集信息的技術(shù)。目前主流的爬蟲(chóng)技術(shù)大致可以歸類(lèi)為兩類(lèi)：

1、 網(wǎng)站渲染后，通過(guò)正則表達(dá)式匹配前端代碼，獲取所需信息，以此往復(fù)。

2、 不通過(guò)網(wǎng)站渲染，或只經(jīng)過(guò)少量渲染，直接通過(guò)網(wǎng)站的API接口進(jìn)行動(dòng)態(tài)調(diào)用。

技術(shù)含量高一點(diǎn)的爬蟲(chóng)技術(shù)，都是跳過(guò)網(wǎng)頁(yè)靜態(tài)內(nèi)容的渲染，直接調(diào)用動(dòng)態(tài)API接口，以達(dá)到最高效獲取信息的目的。部分法律人士認(rèn)為這是跳過(guò)了網(wǎng)站驗(yàn)證機(jī)制，我覺(jué)得得個(gè)案細(xì)分，畢竟絕大多數(shù)的網(wǎng)站（99%），API接口都是直接暴露的。

如果讀者是法律從業(yè)人員，首先需要明確以下幾點(diǎn)，可能才能更好的理解爬蟲(chóng)技術(shù)：

1、爬蟲(chóng)技術(shù)獲取的信息全部都是網(wǎng)站公開(kāi)信息（或面向爬取者公開(kāi)）

2、爬蟲(chóng)技術(shù)不會(huì)獲取任何被爬取網(wǎng)站的后臺(tái)權(quán)限

如果違背了以上兩個(gè)條件，那就不是爬蟲(chóng)技術(shù)了，就是入侵計(jì)算機(jī)系統(tǒng)技術(shù)了，俗稱(chēng)“黑客”技術(shù)。下面，通過(guò)爬蟲(chóng)技術(shù)獲取對(duì)裁判文書(shū)進(jìn)行檢索，給大家簡(jiǎn)單展示一下，爬蟲(chóng)技術(shù)近年來(lái)刑事案件獲罪的情況，部分圖表通過(guò)Python語(yǔ)言實(shí)現(xiàn)。

（樣本檢索關(guān)鍵詞：爬蟲(chóng)、數(shù)據(jù)抓取、數(shù)據(jù)爬取，時(shí)間點(diǎn)截止至2019-11-15，并對(duì)不相干的文書(shū)進(jìn)行了刪除，其中一篇文書(shū)將“侵犯公民個(gè)人信息罪”寫(xiě)成了“公民個(gè)人信息罪”，進(jìn)行了修正。全部是一審、且二審未大幅度改判的文書(shū)數(shù)據(jù)。有效文書(shū)共計(jì)22篇。）

涉案罪名數(shù)量及比例（餅圖）

（涉案文書(shū)地域分布情況）

總結(jié)：

以上文書(shū)案例，最早的裁判時(shí)間為2014-07-07（鄭×等侵犯著作權(quán)罪一審刑事判決書(shū)），最晚的裁判時(shí)間為2019-10-28（北京瑞智華勝科技股份有限公司、周嘉林、黃健等違法運(yùn)用資金罪一審刑事判決書(shū)）。從數(shù)據(jù)中可以看到侵犯公民個(gè)人信息罪是重災(zāi)區(qū)，非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪則是樣本中刑期最重的罪名。

樣本中較為受人關(guān)注的案件有“上海晟品網(wǎng)絡(luò)科技有限公司、侯明強(qiáng)等非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪一審刑事判決書(shū)”，俗稱(chēng)“今日頭條爬蟲(chóng)案”。感興趣的讀者可以搜索筆者的另一篇文章《爬蟲(chóng)獲取數(shù)據(jù)獲刑案件解析及無(wú)罪論點(diǎn)探討》

如果你是程序員讀者或者大數(shù)據(jù)從業(yè)者，亦或者是爬蟲(chóng)工作室，如何區(qū)分罪與非罪的界限，提防職業(yè)風(fēng)險(xiǎn)呢？筆者在此不做過(guò)多闡述，僅提出以下幾點(diǎn)意見(jiàn)供參考：

1、不爬取目標(biāo)網(wǎng)站的個(gè)人信息內(nèi)容以及公民隱私；

2、不交易爬取的目標(biāo)公司的商業(yè)數(shù)據(jù)；

3、對(duì)有版權(quán)的內(nèi)容的爬取應(yīng)審慎，未獲授權(quán)商業(yè)使用則違法。

值得注意的是，在獲得授權(quán)的情況下，利用爬蟲(chóng)技術(shù)獲取信息，不違反法律。但是，超出授權(quán)內(nèi)容，再次使用，則有可能觸犯法律。舉例來(lái)說(shuō)，你獲得用戶(hù)的授權(quán)，利用爬蟲(chóng)技術(shù)調(diào)用該用戶(hù)的個(gè)人信息，不觸犯法律。但是未經(jīng)該用戶(hù)許可，再次使用該用戶(hù)個(gè)人信息，甚至利用該信息牟利，則嚴(yán)重違反法律。

最后，筆者想要強(qiáng)調(diào)的是，不是公開(kāi)的信息爬取就是不違法的。比如網(wǎng)站的用戶(hù)信息，一樣受到法律保護(hù)。但是在處罰爬蟲(chóng)從業(yè)者的同時(shí)，網(wǎng)站對(duì)個(gè)人信息的公開(kāi)化處理，更應(yīng)該受到行政處罰，不應(yīng)將爬蟲(chóng)程序員送進(jìn)牢房而得到豁免。比起不懂法的小作坊程序員，大公司對(duì)用戶(hù)信息數(shù)據(jù)的濫用和疏于管理，更加令人不齒。對(duì)于公檢法工作者以及律師工作者，在面對(duì)此類(lèi)刑事案件中，不要聽(tīng)到爬蟲(chóng)技術(shù)，就將其妖魔化，關(guān)注的重點(diǎn)，還是應(yīng)該放在獲取方式的合法性上，對(duì)絕大多數(shù)情況下來(lái)說(shuō)，對(duì)于公開(kāi)信息的獲取，是很難定義為“非法手段”上去的，因此一定要慎重。對(duì)于商業(yè)領(lǐng)域的內(nèi)容競(jìng)爭(zhēng)，在民事領(lǐng)域有法律適用的，不要輕易“以刑代民”。不僅會(huì)給行業(yè)的普通從業(yè)者帶來(lái)恐慌，也會(huì)做出負(fù)面的引導(dǎo)。

原文標(biāo)題：我寫(xiě)的代碼合規(guī)嗎？【HDZ研習(xí)社25期】

文章出處：【微信公眾號(hào)：華為開(kāi)發(fā)者社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq