引言一場生活、工作與思維的大變革大數(shù)據(jù)，大挑戰(zhàn)

大數(shù)據(jù)的核心代表著我們分析信息時的三個轉(zhuǎn)變。這些轉(zhuǎn)變將改變我們理解和組建社會的方法。

第一個轉(zhuǎn)變就是，在大數(shù)據(jù)時代，我們可以分析更多的數(shù)據(jù)，有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再依賴于隨機采樣。這部分內(nèi)容將在第1章闡述。19世紀以來，當面臨大量數(shù)據(jù)時，社會都依賴于采樣分析。但是采樣分析是信息缺乏時代和信息流通受限制的模擬數(shù)據(jù)時代的產(chǎn)物。以前我們通常把這看成了理所當然的限制，但高『性』能數(shù)字技術(shù)的流行讓我們意識到，這其實是一種人為的限制。與局限在小數(shù)據(jù)范圍相比，使用一切數(shù)據(jù)為我們帶來了更高的精確『性』，也讓我們看到了一些以前無法發(fā)現(xiàn)的細節(jié)——大數(shù)據(jù)讓我們更清楚地看到了樣本無法揭示的細節(jié)信息。

第二個改變就是，研究數(shù)據(jù)如此之多，以至于我們不再熱衷于追求精確度。這部分內(nèi)容將在第2章闡述。當我們測量事物的能力受限時，關(guān)注最重要的事情和獲取最精確的結(jié)果是可取的。如果購買者不知道牛群里有80頭牛還是100頭牛，那么交 易就無法進行。直到今天，我們的數(shù)字技術(shù)依然建立在精準的基礎(chǔ)上。我們假設(shè)只要電子數(shù)據(jù)表格把數(shù)據(jù)排序，數(shù)據(jù)庫引擎就可以找出和我們檢索的內(nèi)容完全一致的檢索記錄。

這種思維方式適用于掌握“小數(shù)據(jù)量”的情況，因為需要分析的數(shù)據(jù)很少，所以我們必須盡可能精準地量化我們的記錄。在某些方面，我們已經(jīng)意識到了差別。例如，一個小商店在晚上打烊的時候要把收銀臺里的每分錢都數(shù)清楚，但是我們不會、也不可能用“分”這個單位去精確計算國民生產(chǎn)總值。隨著規(guī)模的擴大，對精確度的癡『迷』將減弱。

達到精確需要有專業(yè)的數(shù)據(jù)庫。針對小數(shù)據(jù)量和特定事情，追求精確『性』依然是可行的，比如一個人的銀行賬戶上是否有足夠的錢開具支票。但是，在這個大數(shù)據(jù)時代，在很多時候，追求精確度已經(jīng)變得不可行，甚至不受歡迎了。當我們擁有海量即時數(shù)據(jù)時，絕對的精準不再是我們追求的主要目標。

大數(shù)據(jù)紛繁多樣，優(yōu)劣摻雜，分布在全球多個服務(wù)器上。擁有了大數(shù)據(jù)，我們不再需要對一個現(xiàn)象刨根究底，只要掌握大體的發(fā)展方向即可。當然，我們也不是完全放棄了精確度，只是不再沉『迷』于此。適當忽略微觀層面上的精確度會讓我們在宏觀層面擁有更好的洞察力。

第三個轉(zhuǎn)變因前兩個轉(zhuǎn)變而促成，即我們不再熱衷于尋找因果關(guān)系。這部分內(nèi)容將在第3章闡述。尋找因果關(guān)系是人類長久以來的習(xí)慣。即使確定因果關(guān)系很困難而且用途不大，人類還是習(xí)慣『性』地尋找緣由。相反，在大數(shù)據(jù)時代，我們無須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系，這會給我們提供非常新穎且有價值的觀點。相關(guān)關(guān)系也許不能準確地告知我們某件事情為何會發(fā)生，但是它會提醒我們這件事情正在發(fā)生。在許多情況下，這種提醒的幫助已經(jīng)足夠大了。

如果電子醫(yī)療記錄顯示橙汁和阿司匹林的特定組合可以治療癌癥，那么找出具體的致病原因就沒有這種治療方法本身來得重要。同樣，只要我們知道什么時候是買機票的最佳時機，就算不知道機票價格瘋狂變動的原因也無所謂了。大數(shù)據(jù)告訴我們“是什么”而不是“為什么”。在大數(shù)據(jù)時代，我們不必知道現(xiàn)象背后的原因，我們只要讓數(shù)據(jù)自己發(fā)聲。

我們不再需要在還沒有收集數(shù)據(jù)之前，就把我們的分析建立在早已設(shè)立的少量假設(shè)的基礎(chǔ)之上。讓數(shù)據(jù)發(fā)聲，我們會注意到很多以前從來沒有意識到的聯(lián)系的存在。

例如，對沖基金通過剖析社交 網(wǎng)絡(luò)twitter上的數(shù)據(jù)信息來預(yù)測股市的表現(xiàn)；亞馬遜和奈飛（netflix）根據(jù)用戶在其網(wǎng)站上的類似查詢來進行產(chǎn)品推薦；twitter，facebookllinkedin通過用戶的社交 網(wǎng)絡(luò)圖來得知用戶的喜好。

當然，人類從數(shù)千年前就開始分析數(shù)據(jù)。古代美索不達米亞平原的記賬人員為了有效地跟蹤記錄信息發(fā)明了書寫。自從圣經(jīng)時代開始，『政府』就通過進行人口普查來建立大型的國民數(shù)據(jù)庫。兩百多年來，精算師們也一直通過搜集大量的數(shù)據(jù)來進行風(fēng)險規(guī)避。

模擬時代的數(shù)據(jù)收集和分析極其耗時耗力，新問題的出現(xiàn)通常要求我們重新收集和分析數(shù)據(jù)。數(shù)字化的到來使得數(shù)據(jù)管理效率又向前邁出了重要的一步。數(shù)字化將模擬數(shù)據(jù)轉(zhuǎn)換成計算機可以讀取的數(shù)字數(shù)據(jù)，使得存儲和處理這些數(shù)據(jù)變得既便宜又容易，從而大大提高了數(shù)據(jù)管理效率。過去需要幾年時間才能完成的數(shù)據(jù)搜集，現(xiàn)在只要幾天就能完成。但是，光有改變還遠遠不夠。數(shù)據(jù)分析者太沉浸于模擬數(shù)據(jù)時代的設(shè)想，即數(shù)據(jù)庫只有單一的用途和價值，而正是我們使用的技術(shù)和方法加深了這種偏見。雖然數(shù)字化是促成向大數(shù)據(jù)轉(zhuǎn)變的重要原因，但僅有計算機的存在卻不足以實現(xiàn)大數(shù)據(jù)。

我們沒有辦法準確描述現(xiàn)在正在發(fā)生的一切，但是在第4章即將提到的“數(shù)據(jù)化”概念可以幫助我們大致了解這次變革。數(shù)據(jù)化意味著我們把一切都透明化，甚至包括很多我們以前認為和“信息”根本搭不上邊的事情。比方說，一個人所在的位置、引擎的振動、橋梁的承重等。我們要通過量化的方法把這些內(nèi)容轉(zhuǎn)化為數(shù)據(jù)。這就使得我們可以嘗試許多以前無法做到的事情，如根據(jù)引擎的散熱和振動來預(yù)測引擎是否會出現(xiàn)故障。這樣，我們就激發(fā)出了這些數(shù)據(jù)此前未被挖掘的潛在價值。

大數(shù)據(jù)時代開啟了一場尋寶游戲，而人們對于數(shù)據(jù)的看法以及對于由因果關(guān)系向相關(guān)關(guān)系轉(zhuǎn)化時釋放出的潛在價值的態(tài)度，正是主宰這場游戲的關(guān)鍵。新興技術(shù)工具的使用使這一切成為可能。寶貝不止一件，每個數(shù)據(jù)集內(nèi)部都隱藏著某些未被發(fā)掘的價值。這場發(fā)掘和利用數(shù)據(jù)價值的競賽正開始在全球上演。

第5章和第6章將講述大數(shù)據(jù)如何改變了商業(yè)、市場和社會的本質(zhì)。20世紀，價值已經(jīng)從實體基建轉(zhuǎn)變?yōu)闊o形財產(chǎn)，從土地和工廠轉(zhuǎn)變?yōu)槠放坪彤a(chǎn)權(quán)。如今，一個新的轉(zhuǎn)變正在進行，那就是電腦存儲和分析數(shù)據(jù)的方法取代電腦硬件成為了價值的源泉。數(shù)據(jù)成為了有價值的公司資產(chǎn)、重要的經(jīng)濟投入和新型商業(yè)模式的基石。雖然數(shù)據(jù)還沒有被列入企業(yè)的資產(chǎn)負債表，但這只是一個時間問題。

雖然有些數(shù)據(jù)處理技術(shù)已經(jīng)出現(xiàn)了一段時間，但是它們只為調(diào)查局、研究所和世界上的一些巨頭公司所掌握。沃爾瑪和美國第一資本銀行（capitalone）率先將大數(shù)據(jù)運用在了零售業(yè)和銀行業(yè)，因此改變了整個行業(yè)。如今這種技術(shù)大多都實現(xiàn)了大眾化。

大數(shù)據(jù)對個人的影響是最驚人的。在一個可能『性』和相關(guān)『性』占主導(dǎo)地位的世界里，專業(yè)『性』變得不那么重要了。行業(yè)專家不會消失，但是他們必須與數(shù)據(jù)表達的信息進行博弈。如同在電影 《點球成金》（moneyball）里，棒球星探們在統(tǒng)計學(xué)家面前相形見絀——直覺的判斷被迫讓位于精準的數(shù)據(jù)分析。這將迫使人們調(diào)整在管理、決策、人力資源和教育方面的傳統(tǒng)理念。

我們大部分的習(xí) 俗和慣例都建立在一個預(yù)設(shè)好的立場上，那就是我們用來進行決策的信息必須是少量、精確并且至關(guān)重要的。但是，當數(shù)據(jù)量變大、數(shù)據(jù)處理速度加快，而且數(shù)據(jù)變得不那么精確時，之前的那些預(yù)設(shè)立場就不復(fù)存在了。此外，因為數(shù)據(jù)量極為龐大，最后做出決策的將是機器而不是人類自己。第7章將會討論大數(shù)據(jù)的負面影響。

在了解和監(jiān)視人類的行為方面，社會已經(jīng)有了數(shù)千年的經(jīng)驗。但是，如何來監(jiān)管一個算法系統(tǒng)呢？在信息化時代的早期，有一些政策專家就看到了信息化給人們的隱私權(quán)帶來的威脅，社會也已經(jīng)建立起了龐大的規(guī)則體系來保障個人的信息安全。但是在大數(shù)據(jù)時代，這些規(guī)則都成了無用的馬其諾防線。人們自愿在網(wǎng)絡(luò)上分享信息，而這種分享的能力成為了網(wǎng)絡(luò)服務(wù)的一個中心特征，而不再是一個需要規(guī)避的薄弱點了。

對我們而言，危險不再是隱私的泄『露』，而是被預(yù)知的可能『性』——這些能預(yù)測我們可能生病、拖欠還款和犯罪的算法會讓我們無法購買保險、無法貸款、甚至在實施犯罪前就被預(yù)先逮捕。顯然，統(tǒng)計把大數(shù)據(jù)放在了首位，但即便如此，個人意志是否應(yīng)該凌駕于大數(shù)據(jù)之上呢？就像出版印刷行業(yè)的發(fā)展推動國家立法保護言論自由 （在此之前沒有出臺類似法律的必要，因為沒有太多的言論需要保護），大數(shù)據(jù)時代也需要新的規(guī)章制度來保衛(wèi)權(quán)勢面前的個人權(quán)利。

『政府』機構(gòu)和社會在控制和處理數(shù)據(jù)的方法上必須有多方位的改變。不可否認，我們進入了一個用數(shù)據(jù)進行預(yù)測的時代，雖然我們可能無法解釋其背后的原因。如果一個醫(yī)生只要求病人遵從醫(yī)囑，卻沒法說明醫(yī)學(xué)干預(yù)的合理『性』的話，情況會怎么樣呢？實際上，這是依靠大數(shù)據(jù)取得病理分析的醫(yī)生們一定會做的事情。還有司法系統(tǒng)的“合理證據(jù)”是不是應(yīng)該改為“可能證據(jù)”呢？如果真是這樣，會對人類自由 和尊嚴產(chǎn)生什么影響呢？

我們在大數(shù)據(jù)時代倡導(dǎo)的一系列規(guī)范將在第8章進行介紹。這些規(guī)范建立在我們很熟悉的“小數(shù)據(jù)”時代發(fā)展并保留下來的規(guī)范的基礎(chǔ)之上。新環(huán)境要求舊規(guī)范與時俱進。

大數(shù)據(jù)標志著人類在尋求量化和認識世界的道路上前進了一大步。過去不可計量、存儲、分析和共享的很多東西都被數(shù)據(jù)化了。擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。社會因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好，開始挖掘相關(guān)關(guān)系的好處。

尋找原因是一種現(xiàn)代社會的一神論，大數(shù)據(jù)推翻了這個論斷。但我們又陷入了一個歷史的困境，那就是我們活在一個“上帝已死”的時代。也就是說，我們曾經(jīng)堅守的信念動搖了。諷刺的是，這些信念正在被“更好”的證據(jù)所取代。那么，從經(jīng)驗中得來的與證據(jù)相矛盾的直覺、信念和『迷』惘應(yīng)該充當什么角『色』呢？當世界由探求因果關(guān)系變成挖掘相關(guān)關(guān)系，我們怎樣才能既不損壞建立在因果推理基礎(chǔ)之上的社會繁榮和人類進步的基石，又取得實際的進步呢？本書意在解釋我們身在何處，我們從何而來，并且提供當下亟需的指導(dǎo)，以應(yīng)對眼前的利益和危險。