引言一場生活、工作與思維的大變革大數(shù)據(jù),開啟重大的時代轉(zhuǎn)型
大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。與其他新技術(shù)一樣,大數(shù)據(jù)也必然要經(jīng)歷硅谷臭名昭著的技術(shù)成熟度曲線:經(jīng)過新聞媒體和學(xué)術(shù)會議的大肆宣傳之后,新技術(shù)趨勢一下子跌到谷底,許多數(shù)據(jù)創(chuàng)業(yè)公司變得岌岌可危。當(dāng)然,不管是過熱期還是幻想破滅期,都非常不利于我們正確理解正在發(fā)生的變革的重要『性』。
就像望遠(yuǎn)鏡能夠讓我們感受宇宙,顯微鏡能夠讓我們觀測微生物,這種能夠收集和分析海量數(shù)據(jù)的新技術(shù)將幫助我們更好地理解世界——這種理解世界的新方法我們現(xiàn)在才意識到。本書旨在如實(shí)表達(dá)出大數(shù)據(jù)的內(nèi)涵,而不會過分熱捧它。當(dāng)然,真正的革命并不在于分析數(shù)據(jù)的機(jī)器,而在于數(shù)據(jù)本身和我們?nèi)绾芜\(yùn)用數(shù)據(jù)。
2003年,人類第一次破譯人體 基因密碼的時候,辛苦工作了十年才完成了三十億對堿基對的排序。大約十年之后,世界范圍內(nèi)的基因儀每15分鐘就可以完成同樣的工作。在金融領(lǐng)域,美國股市每天的成交 量高達(dá)70億股。而其中三分之二的交 易都是由建立在算法公式上的計(jì)算機(jī)程序完成的。這些程序運(yùn)用海量數(shù)據(jù)來預(yù)測利益和降低風(fēng)險。
互聯(lián)網(wǎng)公司更是要被數(shù)據(jù)淹沒了。谷歌公司每天要處理超過24拍(等于2的50次方)字節(jié)的數(shù)據(jù),這意味著其每天的數(shù)據(jù)處理量是美國國家圖書館所有紙質(zhì)出版物所含數(shù)據(jù)量的上千倍。facebook這個創(chuàng)立時間不足十年的公司,每天更新的照片量超過1000萬張,每天人們在網(wǎng)站上點(diǎn)擊“喜歡”(like)按鈕或者寫評論次數(shù)大約有三十億次,這就為facebook公司挖掘用戶喜好提供了大量的數(shù)據(jù)線索。與此同時,谷歌子公司youtube每月接待多達(dá)8億的訪客,平均每一秒鐘就會有一段長度在一小時以上的視頻上傳。twitter上的信息量幾乎每年翻一倍,截至2012年,每天都會發(fā)布超過4億條微博。
從科學(xué)研究到醫(yī)療保險,從銀行業(yè)到互聯(lián)網(wǎng),各個不同的領(lǐng)域都在講述著一個類似的故事,那就是爆發(fā)式增長的數(shù)據(jù)量。這種增長超過了我們創(chuàng)造機(jī)器的速度,甚至超過了我們的想象。
我們周圍到底有多少數(shù)據(jù)?增長的速度有多快?許多人試圖測量出一個確切的數(shù)字。盡管測量的對象和方法有所不同,但他們都獲得了不同程度的成功。南加利福尼亞大學(xué)安嫩伯格通信學(xué)院的馬丁·希爾伯特(martinhilbert)進(jìn)行了一個比較全面的研究,他試圖得出人類所創(chuàng)造、存儲和傳播的一切信息的確切數(shù)目。他的研究范圍不僅包括書籍、圖畫、電子郵件、照片、音樂、視頻(模擬和數(shù)字),還包括電子游戲、電話、汽車導(dǎo)航和信件。馬丁·希爾伯特還以收視率和收聽率為基礎(chǔ),對電視、電臺這些廣播媒體進(jìn)行了研究。
有趣的是,在2007年,只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數(shù)據(jù),其余全部是數(shù)字?jǐn)?shù)據(jù)。但在不久之前,情況卻完全不是這樣的。雖然1960年就有了“信息時代”和“數(shù)字村鎮(zhèn)”的概念,但實(shí)際上,這些概念仍然是相當(dāng)新穎的。甚至在2000年的時候,數(shù)字存儲信息仍只占全球數(shù)據(jù)量的四分之一;當(dāng)時,另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。
早期數(shù)字信息的數(shù)量是不多的。對于長期在網(wǎng)上沖浪和購書的人來說,那只是一個微小的部分。事實(shí)上,在1986年的時候,世界上約40%的計(jì)算機(jī)技術(shù)都被運(yùn)用在便攜計(jì)算機(jī)上,那時候,所有個人電腦的處理能力之和都沒有便攜計(jì)算機(jī)高。但是因?yàn)閿?shù)字?jǐn)?shù)據(jù)的快速增長,整個局勢很快就顛倒過來了。按照希爾伯特的說法,數(shù)字?jǐn)?shù)據(jù)的數(shù)量每三年多就會翻一倍。相反,模擬數(shù)據(jù)的數(shù)量則基本上沒有增加。
事情真的在快速發(fā)展。人類存儲信息量的增長速度比世界經(jīng)濟(jì)的增長速度快4倍,而計(jì)算機(jī)數(shù)據(jù)處理能力的增長速度則比世界經(jīng)濟(jì)的增長速度快9倍。難怪人們會抱怨信息過量,因?yàn)槊總€人都受到了這種極速發(fā)展的沖擊。
把眼光放遠(yuǎn)一點(diǎn),我們可以把時下的信息洪流與1439年前后古登堡發(fā)明印刷機(jī)時造成的信息爆炸相對比。歷史學(xué)家伊麗莎白·愛森斯坦(elizabetheisenstein)發(fā)現(xiàn),1453—1503年,這50年之間大約有800萬本書籍被印刷,比1200年之前君士坦丁堡建立以來整個歐洲所有的手抄書還要多。換言之,歐洲的信息存儲量花了50年才增長了一倍(當(dāng)時的歐洲還占據(jù)了世界上大部分的信息存儲份額),而如今大約每三年就能增長一倍。
這種增長意味著什么呢?彼特·諾維格(peternorvig)是谷歌的人工智能專家,也曾任職于美國宇航局噴氣推進(jìn)實(shí)驗(yàn)室,他喜歡把這種增長與圖畫進(jìn)行類比。首先,他要我們想想來自法國拉斯科洞『穴』壁畫上的標(biāo)志『性』的馬。這些畫可以追溯到一萬七千年之前的舊石器時代。然后,再想想一張馬的照片,想想畢加索的畫也可以,看起來和那些洞『穴』壁畫沒有多大的差別。事實(shí)上,畢加索看到那些洞『穴』壁畫的時候就曾開玩笑說:“自那以后,我們就再也沒有創(chuàng)造出什么東西了?!?/p>
他的話既正確又不完全正確。你回想一下壁畫上的那匹馬。當(dāng)時要畫一幅馬的畫需要花費(fèi)很久的時間,而現(xiàn)在不需要那么久了。這就是一種改變,雖然改變的可能不是最核心的部分——畢竟這仍然是一幅馬的圖像。但是諾維格說,想象一下,現(xiàn)在我們能每秒鐘播放24幅不同形態(tài)的馬的圖片,這就是一種由量變導(dǎo)致的質(zhì)變:一部電影 與一幅靜態(tài)的畫有本質(zhì)上的區(qū)別!大數(shù)據(jù)也一樣,量變導(dǎo)致質(zhì)變。物理學(xué)和生物學(xué)都告訴我們,當(dāng)我們改變規(guī)模時,事物的狀態(tài)有時也會發(fā)生改變。
我們就以納米技術(shù)來為例。納米技術(shù)就是讓一切變小而不是變大。其原理就是當(dāng)事物到達(dá)分子的級別時,它的物理『性』質(zhì)就會發(fā)生改變。一旦你知道這些新的『性』質(zhì),你就可以用同樣的原料來做以前無法做的事情。銅本來是用來導(dǎo)電的物質(zhì),但它一旦到達(dá)納米級別就不能在磁場中導(dǎo)電了。銀離子具有抗菌『性』,但當(dāng)它以分子形式存在的時候,這種『性』質(zhì)會消失。一旦到達(dá)納米級別,金屬可以變得柔軟,陶土可以具有彈『性』。同樣,當(dāng)我們增加所利用的數(shù)據(jù)量時,我們就可以做很多在小數(shù)據(jù)量的基礎(chǔ)上無法完成的事情。
有時候,我們認(rèn)為約束我們生活的那些限制,對于世間萬物都有著同樣的約束力。事實(shí)上,盡管規(guī)律相同,但是我們能夠感受到的約束,很可能只對我們這樣尺度的事物起作用。對于人類來說,唯一一個最重要的物理定律便是萬有引力定律。這個定律無時無刻不在控制著我們。但對于細(xì)小的昆蟲來說,重力是無關(guān)緊要的。對它們而言,物理宇宙中有效的約束是地表張力,這個張力可以讓它們在水上自由 行走而不會掉下去。但人類對于地表張力毫不在意。
對于萬有引力產(chǎn)生的約束效果而言,生物體的大小是非常重要的。類似地,對于信息而言,規(guī)模也是非常重要的。谷歌能夠幾近完美地給出和基于大量真實(shí)病例信息所得到的流感情況一致的結(jié)果,而且?guī)缀跏菍?shí)時的,比疾控中心快多了。同樣,farecast可以預(yù)測機(jī)票價格的波動,從而讓消費(fèi)者真正在經(jīng)濟(jì)上獲利。它們之所以如此給力,都因?yàn)榇嬖诠┢浞治龅臄?shù)千億計(jì)的數(shù)據(jù)項(xiàng)。
盡管我們?nèi)蕴幱诖髷?shù)據(jù)時代來臨的前夕,但我們的日常生活已經(jīng)離不開它了。垃圾郵件過濾器可以自動過濾垃圾郵件,盡管它并不知道“發(fā)#票#銷#售”是“發(fā)票銷售”的一種變體。交 友網(wǎng)站根據(jù)個人的『性』格與之前成功配對的情侶之間的關(guān)聯(lián)來進(jìn)行新的配對。具有“自動改正”功能的智能手機(jī)通過分析我們以前的輸入,將個『性』化的新單詞添加到手機(jī)詞典里。然而,對于這些數(shù)據(jù)的利用還僅僅只是一個開始。從可以自動轉(zhuǎn)彎和剎車的汽車,到ibm沃特森超級電腦在游戲節(jié)目《危險邊緣》(jeopardy)中打敗人類來看,這項(xiàng)技術(shù)終將會改變我們所居住的星球的許多東西。