大數(shù)據(jù)是這幾年的一項(xiàng)熱門技術(shù)。它和人工智能、云計(jì)算一起,已經(jīng)成為大科技公司的技術(shù)標(biāo)配。但是該如何理解大數(shù)據(jù)技術(shù)?這項(xiàng)技術(shù)對我們有什么影響?這些基本的問題,不少人卻并不清楚。
谷歌的數(shù)據(jù)科學(xué)家賽斯(賽斯·史蒂芬斯-大衛(wèi)德維茨Seth Stephens-Davidowitz)寫了一本書《數(shù)據(jù)、謊言與真相》(Everybody Lies:Big Data,New Data ,and What the Internet Can Tell Us About Who We Really Are ),里面對這些問題給出了他的回答。
大數(shù)據(jù)這個(gè)名字本身會給人一種誤解,認(rèn)為大數(shù)據(jù)的關(guān)鍵在于數(shù)據(jù)量很大。不過,賽斯說,數(shù)據(jù)集的大小經(jīng)常被高估。其實(shí)所需要的數(shù)據(jù)集的大小,跟數(shù)據(jù)本身的效果、數(shù)據(jù)的真實(shí)程度等都有關(guān)。
舉個(gè)例子,一個(gè)火熱的爐子,你只需要碰到一次,就明白,熱爐子很危險(xiǎn),會燙傷你。但是,你可能需要喝幾千杯咖啡,才能確定,咖啡是否會讓你頭疼。原因就在于,熱爐子本身的效果強(qiáng)度很高,因此,只需要一項(xiàng)數(shù)據(jù),就能顯現(xiàn)出結(jié)果。
賽斯在這本書里引用了大量人們在谷歌中搜索的數(shù)據(jù)。谷歌的數(shù)據(jù)之所以這么有價(jià)值,其實(shí)原因也不完全是因?yàn)楣雀枘苣玫降凝嫶蟮臄?shù)據(jù)量,還因?yàn)?,人們在自己?a target="_blank">電腦上輸入關(guān)鍵詞、進(jìn)行搜索時(shí),都很誠實(shí)。他們不需要考慮社交壓力、周圍人的眼光等等。
用賽斯的話說,“你未必總是需要大數(shù)據(jù),才能得出重要見解,你需要正確的數(shù)據(jù)。”大數(shù)據(jù)革命跟收集更多的數(shù)據(jù)無關(guān),而是跟收集正確的數(shù)據(jù)有關(guān)。還是以谷歌為例。谷歌不是僅僅憑借著能夠比其他搜索引擎搜索到更多的內(nèi)容,就成為世界上最大的搜索引擎公司,它憑借的是,可以搜索到更好的數(shù)據(jù)。這跟谷歌的算法有關(guān)。谷歌的算法,按照一個(gè)網(wǎng)頁被鏈接的數(shù)量來對搜索結(jié)果排序。
賽斯介紹了大數(shù)據(jù)的四種力量。這四種力量,也并不都同數(shù)據(jù)集本身的大小相關(guān)。
大數(shù)據(jù)的第一種力量是,提供了新類型的數(shù)據(jù)。比如,包括弗洛伊德在內(nèi)的思想家,都會從性的角度,來解釋人類的很多行為。但是,這些思想家更多還是在觀念層面進(jìn)行思考。而現(xiàn)在,大數(shù)據(jù)時(shí)代的研究者,有了一項(xiàng)讓那些過往思想家羨慕不已的數(shù)據(jù):人們在互聯(lián)網(wǎng)上搜索和觀看色情作品的數(shù)據(jù)。這些獨(dú)特的數(shù)據(jù)來源,能夠讓研究者進(jìn)入以前只能靠推理和猜測的領(lǐng)域。
大數(shù)據(jù)的力量在于,重新想象什么東西有資格成為數(shù)據(jù),提供之前從來沒有收集過的信息,讓人們可以研究。
作者舉了一個(gè)例子。他曾經(jīng)把2004年至2011年的失業(yè)率輸入到谷歌的數(shù)據(jù)挖掘工具Google Correlate中,結(jié)果發(fā)現(xiàn),跟失業(yè)最相關(guān)的搜索,一個(gè)是***,另一個(gè)是蜘蛛紙牌。作者猜測,原因也很簡單,因?yàn)槭I(yè)者會有很多空閑時(shí)間。所以,他就發(fā)現(xiàn),“利用一些跟消遣相關(guān)的搜尋組合,就能追蹤失業(yè)率,而且是預(yù)測失業(yè)率最佳模式的一部分?!?/p>
大數(shù)據(jù)的第二種力量是,提供了誠實(shí)的數(shù)據(jù)。在數(shù)字時(shí)代出現(xiàn)之前,可想而知,由于考慮到社會壓力等因素,人往往會隱藏起來那些會讓自己難堪的想法。即使面對詢問,也不會坦誠相告。但是,在數(shù)字時(shí)代,雖然人們?nèi)匀粫诂F(xiàn)實(shí)生活中隱藏起一些真實(shí)想法,但是在互聯(lián)網(wǎng)上,尤其是可以匿名的網(wǎng)站上,人們往往會透露出自己的想法。
“大數(shù)據(jù)使我們終于可以看清人們真正想要什么和真正做了什么,而不是人們說自己要什么和做了什么。”
知名投資人彼得·蒂爾說過,偉大的企業(yè)建立在秘密之上??赡苁顷P(guān)于自然的秘密,也可能是關(guān)于人的秘密。人的秘密,指的是跟自己有關(guān)但自己卻不知道,或者不想讓別人知道的事。
舉個(gè)例子,流媒體公司奈飛,曾經(jīng)讓用戶設(shè)置一個(gè)自己以后想看的電影播放列表。奈飛發(fā)現(xiàn),用戶確實(shí)會把電影添加到這個(gè)列表中,但是,盡管奈飛會提醒用戶看這些電影,用戶卻很少真的去看。因?yàn)椋藗冋f自己想要的,跟自己實(shí)際想要的不一致。
后來,奈飛不再要求用戶告訴自己他們想看什么電影,而是根據(jù)用戶點(diǎn)擊和觀看的數(shù)據(jù)建立一個(gè)模型,用模型來推測用戶想看什么電影。結(jié)果,用戶果然越來越頻繁地造訪奈飛,在上面看了越來越多的電影。所以,奈飛前數(shù)據(jù)科學(xué)家澤維爾·艾瑪特里安說:算法比你更了解你自己。
大數(shù)據(jù)的第三種力量是,讓我們可以把焦點(diǎn)放在人口中的一個(gè)很小的子集,去進(jìn)行研究。
當(dāng)然,這要求對小的子集,也有大數(shù)據(jù)量。打個(gè)比方,為了將照片的一小部分放大后還能看清楚,照片需要有很高的像素。同樣,為了能夠清楚放大檢視數(shù)據(jù)的小子集,每一個(gè)小子集中都需要大量的數(shù)據(jù)。比如,某一個(gè)球隊(duì)有多受1978年出生的男性的歡迎。只對幾千人進(jìn)行的小調(diào)查,樣本根本不夠大,1978年出生的男性人數(shù)肯定不夠多。
這樣做的意義在什么地方呢?作者通過數(shù)據(jù)研究發(fā)現(xiàn),是否成為一個(gè)球隊(duì)的粉絲,跟這個(gè)球隊(duì)在一個(gè)人特定年齡段的表現(xiàn)有關(guān)系。如果在一個(gè)人對運(yùn)動最癡迷、最容易喜歡上某項(xiàng)運(yùn)動的時(shí)間段,這個(gè)球隊(duì)的表現(xiàn)越好,那它獲得這個(gè)年齡段的球迷就越多。
而且,美國人政治觀點(diǎn)的形成也類似。很多美國人會在14歲到24歲這個(gè)關(guān)鍵時(shí)期,形成個(gè)人的政治偏好。其中,形成政治觀點(diǎn)最重要的年紀(jì)是18歲。受歡迎的共和黨總統(tǒng)或不受歡迎的民主黨總統(tǒng),將影響很多年輕人成為共和黨人。反之亦然?!按髷?shù)據(jù)允許我們有意義地放大檢視數(shù)據(jù)集的細(xì)部,獲取新的洞察?!?/p>
第四種力量是,允許研究者進(jìn)行因果關(guān)系實(shí)驗(yàn)。大數(shù)據(jù)可以允許研究者進(jìn)行快速而且可控制的因果關(guān)系實(shí)驗(yàn),而不僅僅是相關(guān)性。
這種測試在很多互聯(lián)網(wǎng)公司被稱作是A/B測試。臉書(Facebook)每天能進(jìn)行上千次A/B測試。所謂的A/B測試,指的是,在同一個(gè)時(shí)間維度,分別讓相似的兩組訪客隨機(jī)訪問這些版本,收集數(shù)據(jù),來評估出用戶更喜歡的版本。比如,兩個(gè)標(biāo)題,哪一個(gè)點(diǎn)擊量更高;放哪種類型的照片,更能讓用戶喜歡等等。
有一個(gè)網(wǎng)站的CEO說:“你不能假設(shè)任何事,必須針對每件事都進(jìn)行測試才行”,“如果我們了解人性,根據(jù)我們的生活經(jīng)驗(yàn)就能判斷答案是什么,那么測試就不會有價(jià)值。但事實(shí)上,我們不了解人性,所以測試才這么有價(jià)值?!?/p>
這種方法,互聯(lián)網(wǎng)公司已經(jīng)大量使用,而現(xiàn)在和將來,社會科學(xué)家也可以使用,從而把以往模糊的研究,變得更科學(xué)。以上就是谷歌數(shù)據(jù)科學(xué)家對于大數(shù)據(jù)擁有的四種力量的解釋,希望對你有啟發(fā)。
-
云計(jì)算
+關(guān)注
關(guān)注
39文章
7976瀏覽量
140107 -
人工智能
+關(guān)注
關(guān)注
1807文章
49029瀏覽量
249585 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8960瀏覽量
140254
原文標(biāo)題:深度解析大數(shù)據(jù),大數(shù)據(jù)的力量在哪里?
文章出處:【微信號:ZS-IOT,微信公眾號:中山市物聯(lián)網(wǎng)協(xié)會】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
深入分析LED電源損壞原因
Xilinx_FPGA_內(nèi)部結(jié)構(gòu)深入分析
深入分析Windows和Linux動態(tài)庫應(yīng)用異同
筆記本的結(jié)構(gòu)深入分析
如何深入分析電源電路技巧(二):駕馭噪聲電源

大數(shù)據(jù)應(yīng)用崛起 下一階段發(fā)展方向在哪里?
了解多線程并深入分析CreateThread與_beginthreadex本質(zhì)區(qū)別

人工智能和大數(shù)據(jù)對于教育來講,它的優(yōu)勢到底在哪里?
(轉(zhuǎn))深入分析STM32單片機(jī)的RAM和FLASH

大數(shù)據(jù)應(yīng)用在哪些方面?
深入分析:大帶寬競爭形勢下同軸接入網(wǎng)的價(jià)值

評論