2013年10月8日 星期二

快準狠的大數據(Big Data)

大數據

Big Data


「大數據」(我個人比較喜歡「巨量資料」這個名詞),在歐美主流媒體早已成了常見的名詞了,到《紐約時報》(The New York Times)用「Big Data」為關鍵字作搜尋就能找到一大堆有深度的文章,近年幾乎每週都有和「大數據」有關的新聞。國外已有媒體指出,大學甚至可能會因應市場需要,而開設新課程或系所來訓練有能力分析大數據的人才;可是如果你用「大數據」在谷歌找中文新聞,出現的新聞要嘛是對岸的,要不然就是小眾媒體的。難怪台灣經濟會悶……

為何「大數據」重要?

答案很簡單,因為,不管是基礎科學或者應用科學的研究,還有工商業,都可以用大數據來可以解決很多非常實際的問題。舉例來說,大數據已經協助迅速找 出有致命危險的人孔蓋,許多老舊的人孔蓋是不定時炸彈,但其中有些更容易闖禍,快速有效地尋找出它們悠關公共安全;在公共衛生上,從谷歌的搜尋字眼之使用量趨勢,還可預測流感的蔓延,讓官方快速掌控疫情;谷歌也用大數據而非語言學家來進多語言翻譯的開發,雖然還有很搞笑的錯誤,但已是業界先鋒。

在工商業應用上,大數據可以預測機票的價格,這在美國已成了一個網站Farecast.com, 讓使用者可以依據機票浮動的機率決定是否下單,Farecast.com後來被微軟併購;美國零售商Target用了大數據還可預測女生(甚至未成年)是否懷孕,來郵寄孕婦嬰兒用品的折價卷;大數據能夠幫忙規劃快遞的送貨路線,尋找最少停停走走的路線,以節約能量;還有個有趣的應用研究,能從駕駛人的臀部 形態判斷是否為車主的防盜系統,甚至還能判斷車主有沒有酒駕或打嗑睡……

這麼好用,不買嗎?

不知上哪買?那就先讀牛津大學網路研究所教授麥爾荀伯格(Viktor Mayer-Schonberger)和《經濟學人》(The Economist)雜誌資料編輯庫基耶(Kenneth Cukier)的《大數據》Big Data: A Revolution That Will Transform How We Live, Work, and Think),讓他們告訴你什麼碗糕是大數據,大數據有什麼意義…或義氣…還有大數據將如何改變我們的生活,對經濟、社會和科學會帶來什麼影響,我們又能如何趕搭上這波新潮流,如何懂得保護自己,避免個人資料和隱私受到侵害。《大數據》就用以上提到的實例,深入淺出地解說大數據之發掘和應用。

很多討論大數據的文章會指出,大數據有 4V之美──Volume、 Variety、 Value、 Velocity(資料量大、資料多樣性、價值高、輸入和處理速度快)。大數據之應用和分析,也影響了環境科學、生態學、地球科學、天文學、海洋學、公共 衛生、神經科學、大氣科學、基因體學等學科,微軟研究院(Microsoft Research)出了一本免費的專書在做學術上的探討──The Fourth Paradigm: Data-Intensive Scientific Discovery

大數據,簡單來說,是由於網際網路普遍了、電腦擷取、儲存、管理設備和強大的軟硬體提升了分析運算能力後,科學家可以方便地蒐集資料,並且把所有收集到的資料拿去作運算,不必再取樣或犧牲掉大部分資料,甚至不必再取樣,而是取得母體來作分析,於是不必再拘泥傳統的統計理論和取樣方法。大數據的使用和分析,也產生了一種新的思維模式,讓分析者不需要再擁抱精確性,也不再受限於因果關係的解釋,只有找出有應用價值的相關性就好,當然這是在應用上而言。


《大數據》也談大數據的研究過程,以及巨量資料的基礎建設、運用方式與價值鏈。大數據對企業來說,也有利有弊,一般而言,大型和小型企業將受惠較多,因為大企業有能力投資設備和人才,而小企業則靈活度高,然而中型企業可能因為不上不小而受創;大數據也讓一些專家失了業,例如亞馬遜網路書店就發現,用大數據分析出讀者 的口味再推薦,效果比書評家推薦的還好!(啊!糟糕了Orz)

大數據也有黑暗面,《大數據》也談風險、管控與未來。美國國家安全局(NSA)為了蒐集全美的網路資料,單單儲存設備就花了12億鎂,而社群網站的動態分析也是重點,產生了政府該不該用這些巨量資料來監控人民的爭議;而且,大數據本身就不完美,《大數據》 舉了美國越戰時的國防部長麥納瑪拉(Robert McNamara)為例,指出迷信數字是會多麼的危險,連紅透半邊天的《半澤直樹》也有一個迷信數字的惡同事福山XD 因此,《大數據》特別強調人的「能動性」(human agency),也就是人類出於自由意志而選擇其行動。作者顯然不想看到電影《關鍵報告》(The Minority Report的故事真實地上演。

水可行舟、亦可覆舟,大數據是標準的雙面刃。科技之所以存在,是為了要解決人類的問題,而且不管大數據有多海量,終究僅是大自然或人類文明的一小部分而已。《大數據》最後不忘提醒讀者,儘管讓公民、政府、社會帶來的種種挑戰和變革,大數據只是工具,勿忘謙卑與人性。


本文原刊登於【GENE思書軒】,並同步刊登於泛科學

沒有留言:

張貼留言