大數(shù)據(jù)能夠改變什么
大數(shù)據(jù)(big data,mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。一起來(lái)看看大數(shù)據(jù)能夠改變什么吧!
1、大數(shù)據(jù)時(shí)代來(lái)了
隨著社交網(wǎng)絡(luò)的逐漸成熟，移動(dòng)帶寬迅速提升，云計(jì)算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動(dòng)終端接入到網(wǎng)絡(luò)，由此產(chǎn)生的數(shù)據(jù)及增長(zhǎng)速度將比歷史上的任何時(shí)期都要多，都要快。未來(lái)的十年將是一個(gè)“大數(shù)據(jù)”引領(lǐng)的智慧科技的時(shí)代。
時(shí)過(guò)年中，方凡對(duì)“幸福的煩惱”體會(huì)逾深。他是北京水晶石數(shù)字科技有限公司的CIO，重要的職責(zé)就是為這個(gè)龐大的“視覺(jué)展示制造器”提供源源不斷的計(jì)算支持。公司自2008年北京奧運(yùn)會(huì)一舉成名后，包括上海世博會(huì)、深圳大運(yùn)會(huì)和倫敦奧運(yùn)會(huì)在內(nèi)的大型訂單相繼而至，“生意最近好的不得了”，他也成為了公司最忙碌的人之一。
此時(shí)的水晶石正站在一個(gè)臨界點(diǎn)上，營(yíng)業(yè)額將由8億元繼續(xù)攀升，員工近3300人，經(jīng)常要承接其他公司所無(wú)法拿下的大型訂單。同時(shí)，一些新的業(yè)務(wù)模式也正被創(chuàng)造出來(lái)。比如，水晶石為萬(wàn)科、SOHO中國(guó)等房地產(chǎn)企業(yè)打造在線房產(chǎn)服務(wù)，顧客在網(wǎng)上瀏覽時(shí)，可以從各個(gè)角度考察房源，甚至可以自己動(dòng)手進(jìn)行DIY模擬裝修。
在方凡看來(lái)，水晶石能夠成為行業(yè)翹楚，多年來(lái)在大數(shù)據(jù)上積累的雄厚實(shí)力十分關(guān)鍵。視覺(jué)展示行業(yè)極度依賴數(shù)據(jù)，水晶石每年的數(shù)據(jù)量都要增長(zhǎng)上百個(gè)PB，背后需要龐大的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)能力的支撐。簡(jiǎn)單一點(diǎn)來(lái)說(shuō)，渲染一個(gè)大型的高清圖像，別人需要100個(gè)小時(shí)，水晶石卻可以調(diào)動(dòng)3倍以上的計(jì)算資源和人員儲(chǔ)備，在10個(gè)小時(shí)內(nèi)完成。
“大數(shù)據(jù)融入企業(yè)越深，就越考驗(yàn)企業(yè)的投資和儲(chǔ)備能力，企業(yè)的級(jí)別將立判高下。”方凡甚至表示，視覺(jué)展示行業(yè)已經(jīng)進(jìn)入一個(gè)為大數(shù)據(jù)不斷燒錢的階段。
麥肯錫全球研究院對(duì)這樣的趨勢(shì)做了專門研究，其發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)率提高的前沿領(lǐng)域》報(bào)告稱，大數(shù)據(jù)將大幅提升傳統(tǒng)行業(yè)的運(yùn)營(yíng)效率，并催生更多的新型業(yè)務(wù)應(yīng)用和商業(yè)模式，而有效投資和利用大數(shù)據(jù)，已經(jīng)成為了行業(yè)領(lǐng)軍者的制勝法寶。
2、企業(yè)與大數(shù)據(jù)結(jié)緣
多年來(lái)，有關(guān)海量數(shù)據(jù)的討論已讓人審美疲勞，現(xiàn)在又提出大數(shù)據(jù)，究竟有何不同?是否有炒作的嫌疑?一個(gè)有趣的現(xiàn)象是，包括IBM、HP、Oracle、SAP等跨國(guó)IT巨頭，咨詢公司以及歐美企業(yè)對(duì)大數(shù)據(jù)的討論趨于熱烈，剔除其中的炒作成分，不乏有價(jià)值的技術(shù)解決方案和最佳實(shí)踐，而多位國(guó)內(nèi)CIO坦稱也正在關(guān)注大數(shù)據(jù)。
有不少人正在嘗試勾勒大數(shù)據(jù)的面貌，讓其由模糊走向清晰。IDC全球存儲(chǔ)及大數(shù)據(jù)研究項(xiàng)目副總裁一直在研究大數(shù)據(jù)，簡(jiǎn)單一點(diǎn)說(shuō)，大數(shù)據(jù)不僅僅是海量數(shù)據(jù)，它更為復(fù)雜，更追求數(shù)據(jù)處理的速度，企業(yè)也更注重挖掘其中的價(jià)值。
華爾街老兵，投資公司創(chuàng)始人羅杰?依倫伯格最近也撰文暢談所看到的大數(shù)據(jù)投資前景：“我們還處在這場(chǎng)由數(shù)據(jù)驅(qū)動(dòng)的革命的初始階段?，F(xiàn)今，這些機(jī)遇已讓人興奮不已，未來(lái)，這些機(jī)遇所能帶來(lái)的變革必將超乎我的想象。”
這些判斷似乎都能自圓其說(shuō)，但對(duì)于講求實(shí)際效益的商業(yè)世界而言，大數(shù)據(jù)究竟能帶來(lái)多大的改變?
作為中信銀行信用卡中心數(shù)據(jù)倉(cāng)庫(kù)室項(xiàng)目總監(jiān)，顧小波明顯感覺(jué)到新的挑戰(zhàn)正在來(lái)臨。隨著中信銀行信用卡用戶突破1100萬(wàn)，需要挖掘的數(shù)據(jù)量正在膨脹，傳統(tǒng)利用SPSS統(tǒng)計(jì)分析軟件建模的方式已經(jīng)有些力不從心，而如果采用抽樣統(tǒng)計(jì)分析的方式，有些新的用戶行為特征或業(yè)務(wù)趨勢(shì)就會(huì)被忽略。
更重要的是，隨著銀行信用卡競(jìng)爭(zhēng)已經(jīng)從初期“跑馬圈地”進(jìn)入精細(xì)化耕作的新階段，用戶使用行為的數(shù)據(jù)量增長(zhǎng)已經(jīng)快過(guò)新增用戶的增速，原先寬松和粗獷的大筆投資已不可能，銀行需要將更多的精力放在維護(hù)客戶和挖掘客戶價(jià)值上面，以獲得更多的收益。
多年前，中信銀行率先將信用卡用戶分析數(shù)據(jù)應(yīng)用于電話銷售業(yè)務(wù)中，坐席人員不再是大海撈針式的忙碌，中信銀行的電話保險(xiǎn)業(yè)務(wù)購(gòu)買率一年內(nèi)就實(shí)現(xiàn)了30%的增長(zhǎng)?，F(xiàn)在，顧小波正推動(dòng)信用卡數(shù)據(jù)倉(cāng)庫(kù)部門與更多的業(yè)務(wù)部門進(jìn)行對(duì)接。
比如，現(xiàn)在中信銀行的用戶只需刷卡三筆，立刻就能享受到9元購(gòu)買電影票的優(yōu)惠。在以前，中信銀行的核心業(yè)務(wù)系統(tǒng)在處理完當(dāng)天的交易信息后，再過(guò)幾天，才能被識(shí)別出滿足促銷條件的用戶。
同時(shí)，顧小波還在對(duì)中信信用卡網(wǎng)站的用戶使用行為進(jìn)行分析，這些非結(jié)構(gòu)化數(shù)據(jù)以前是被忽略的，現(xiàn)在中信已可以及時(shí)了解用戶在哪一步放棄了哪項(xiàng)業(yè)務(wù)，從而改正網(wǎng)站業(yè)務(wù)設(shè)計(jì)中的不足。
中信銀行信用卡部門在大數(shù)據(jù)中面臨的挑戰(zhàn)與機(jī)遇，幾乎大部分的企業(yè)都會(huì)遇到，這也是大數(shù)據(jù)與以往所提的數(shù)據(jù)挖掘與商業(yè)智能的不同之處：一是數(shù)據(jù)量快速攀升，傳統(tǒng)的數(shù)據(jù)挖掘工具已經(jīng)無(wú)法應(yīng)對(duì)全量分析的需求;二是對(duì)于數(shù)據(jù)處理速度的要求越來(lái)越高，更快的速度意味著更好的用戶體驗(yàn)和更迅即的商業(yè)決策;三是非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)日增，有效的收集和處理將帶來(lái)更多的業(yè)務(wù)價(jià)值。
在支付寶，大數(shù)據(jù)正影響著公司從上到下的決策和業(yè)務(wù)運(yùn)作。目前，通過(guò)利用“PC服務(wù)器集群+開(kāi)源軟件”、采用數(shù)據(jù)庫(kù)軟件等手段，支付寶每天可以對(duì)僅300億條用戶交易數(shù)據(jù)進(jìn)行查詢，結(jié)果可以在20毫秒內(nèi)返回。
這帶來(lái)了兩大好處：一是可以有效控制風(fēng)險(xiǎn)，一旦用戶在超乎常規(guī)的地點(diǎn)登陸，或者進(jìn)行超過(guò)2000元以上的大額轉(zhuǎn)賬，支付寶會(huì)根據(jù)對(duì)用戶使用行為的歷史分析，進(jìn)行主動(dòng)的風(fēng)險(xiǎn)攔截;二是可以進(jìn)行實(shí)時(shí)的營(yíng)銷業(yè)務(wù)推送，比如用戶一旦購(gòu)買了珠寶等高價(jià)商品，支付寶會(huì)立刻向其推送一個(gè)消費(fèi)紅包，馬上就可以進(jìn)行二次消費(fèi)，以增強(qiáng)用戶粘性。
蔣杰認(rèn)為，做到這一切的秘訣在于支付寶正實(shí)現(xiàn)online與offline數(shù)據(jù)挖掘的融合，這使得商業(yè)智能已不僅僅是針對(duì)歷史數(shù)據(jù)的分析和報(bào)表呈現(xiàn)，而是可以做一些針對(duì)大數(shù)據(jù)的實(shí)時(shí)處理結(jié)果，實(shí)現(xiàn)對(duì)業(yè)務(wù)應(yīng)用的可伸縮性調(diào)整。例如，廣告營(yíng)銷業(yè)務(wù)部門可以通過(guò)利用支付寶數(shù)據(jù)庫(kù)的分析數(shù)據(jù)，監(jiān)控營(yíng)銷活動(dòng)的效果，一旦不為用戶接受，就立刻做出調(diào)整，而網(wǎng)站UI設(shè)計(jì)師也可以從用戶訪問(wèn)軌跡中，探尋到導(dǎo)致用戶放棄購(gòu)買行為的設(shè)計(jì)缺陷，從而進(jìn)行設(shè)計(jì)優(yōu)化。
“支付寶已經(jīng)成為數(shù)據(jù)化運(yùn)營(yíng)的公司，從CEO到業(yè)務(wù)人員以及數(shù)據(jù)挖掘分析師，都有利用數(shù)據(jù)挖掘的場(chǎng)所，可以說(shuō)是全員數(shù)據(jù)化，大數(shù)據(jù)已經(jīng)成為支付寶最大的財(cái)富。”目前，支付寶的用戶已超6億，預(yù)計(jì)今年年底數(shù)據(jù)量會(huì)增至1.8PB，蔣杰總結(jié)出一個(gè)定律：支付寶的交易量每年會(huì)翻倍，而數(shù)據(jù)量增長(zhǎng)則會(huì)增長(zhǎng)四倍左右。對(duì)于支付寶而言，這將是企業(yè)數(shù)據(jù)化生存的重要機(jī)遇。
某種程度上說(shuō)，大數(shù)據(jù)也強(qiáng)調(diào)商業(yè)智能的重要性，但它呈現(xiàn)出來(lái)的新特性，正試圖超越商業(yè)智能的范疇，從而開(kāi)辟企業(yè)進(jìn)行商業(yè)優(yōu)化的新疆界。
3、大數(shù)據(jù)引領(lǐng)行業(yè)變革
去年10月，北京海淀區(qū)稻香湖金融服務(wù)區(qū)的200畝地被“圈走”，這里將籌建證券行業(yè)的行業(yè)數(shù)據(jù)中心，屆時(shí)，各大券商將把自家數(shù)據(jù)共享至此，一方面省去了自建災(zāi)備中心的投入，另一方面這個(gè)數(shù)據(jù)中心將為整個(gè)行業(yè)提供全新的增值服務(wù)。
民族證券總工程師馬光悌參與了該項(xiàng)目的認(rèn)證和籌劃，并將其視為“影響整個(gè)行業(yè)的大事件”。在他看來(lái)，行業(yè)數(shù)據(jù)中心是證券行業(yè)應(yīng)對(duì)大數(shù)據(jù)的有益嘗試，憑借其計(jì)算能力，證券公司可以對(duì)當(dāng)天的交易數(shù)據(jù)進(jìn)行更為迅速的分析，響應(yīng)速度將獲得提升。同時(shí)，共享的行業(yè)數(shù)據(jù)可以使得券商拿到更為全面和準(zhǔn)確的行業(yè)分析結(jié)果，這是券商自建數(shù)據(jù)中心所不能獲得的增值服務(wù)。
在不久的將來(lái)，大數(shù)據(jù)或許能呈現(xiàn)出改變整個(gè)行業(yè)的力量。
國(guó)家電網(wǎng)公司去年建成了電力云仿真實(shí)驗(yàn)室，其中一個(gè)重要課題就是如何解決海量數(shù)據(jù)存儲(chǔ)與運(yùn)算的難題。國(guó)網(wǎng)信通公司云計(jì)算與信息資源中心主任吳凱峰表示，大數(shù)據(jù)是國(guó)網(wǎng)實(shí)現(xiàn)智能電網(wǎng)必須要面臨的挑戰(zhàn)，一方面，國(guó)網(wǎng)在輸電線路上布設(shè)了大量的監(jiān)控點(diǎn)，每秒都要傳回海量數(shù)據(jù)，同時(shí)，智能電表實(shí)現(xiàn)規(guī)模推廣后，電網(wǎng)公司需要縮短用電數(shù)據(jù)的收集時(shí)間，數(shù)據(jù)量也將激增。
“這就出現(xiàn)一個(gè)難題，就是如何在下一個(gè)數(shù)據(jù)采集高峰期來(lái)臨之前，將上一次采樣結(jié)果計(jì)算出來(lái)。而準(zhǔn)確分析用戶的用電行為，將為制定階梯電價(jià)，以及達(dá)到輸電與用電的平衡，提供重要的決策支持。”吳凱峰稱，相關(guān)解決方案還在測(cè)試當(dāng)中，但有效應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，將是實(shí)現(xiàn)電網(wǎng)互動(dòng)的關(guān)鍵之一。
不過(guò)，國(guó)網(wǎng)公司的智能互動(dòng)嘗試并不僅限在電力行業(yè)，它正試圖推動(dòng)相關(guān)行業(yè)的產(chǎn)業(yè)變革。在國(guó)網(wǎng)對(duì)于未來(lái)智能電網(wǎng)的藍(lán)圖中，已經(jīng)將版圖擴(kuò)張至電動(dòng)汽車與充電設(shè)施、家庭新能源利用、智能家居和電力光線到戶等領(lǐng)域。
為此，國(guó)網(wǎng)今年將大力建設(shè)67座智能變電站，推廣應(yīng)用5000萬(wàn)具智能電表，并新建173座充換電站和9211個(gè)充電樁，完成25個(gè)智能小區(qū)/樓宇建設(shè)。
據(jù)業(yè)內(nèi)人士分析，智能電網(wǎng)相關(guān)產(chǎn)業(yè)要從試點(diǎn)走向快速發(fā)展，它們與電網(wǎng)公司的智能對(duì)接將是關(guān)鍵，需要實(shí)現(xiàn)無(wú)縫和實(shí)時(shí)的數(shù)據(jù)傳輸，而這無(wú)疑將考驗(yàn)著國(guó)網(wǎng)應(yīng)對(duì)大數(shù)據(jù)的能力。
而在麥肯錫的報(bào)告中，仔細(xì)分析了美國(guó)醫(yī)療行業(yè)、歐洲政府公共服務(wù)、美國(guó)零售業(yè)、全球制造業(yè)以及個(gè)人位置信息行業(yè)——它們?cè)?010年占據(jù)了全球GDP約40%的份額，據(jù)稱，它們均可借助大數(shù)據(jù)實(shí)現(xiàn)新的行業(yè)增值轉(zhuǎn)型。例如，麥肯錫預(yù)計(jì)，美國(guó)醫(yī)療健康行業(yè)每年可以從海量數(shù)據(jù)中實(shí)現(xiàn)超過(guò)3000億美元的價(jià)值，而善于利用大數(shù)據(jù)的零售商可以提升約60%的利潤(rùn)空間。
不過(guò)，在水晶石CIO方凡看來(lái)，擺在大數(shù)據(jù)面前的依然有很多難題。比如在技術(shù)層面，企業(yè)需要提升計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)交換等方面的能力，三者不可偏廢。此外，一旦針對(duì)大數(shù)據(jù)的業(yè)務(wù)需求呈現(xiàn)波峰波谷的巨大落差，企業(yè)將面臨兩難的選擇——不投資IT基礎(chǔ)設(shè)施，將無(wú)法應(yīng)對(duì)挑戰(zhàn)，而如果做了投資，業(yè)務(wù)量一旦下滑，前期的投資會(huì)打了水漂，這是一個(gè)需要仔細(xì)拿捏權(quán)衡的難題。
“大數(shù)據(jù)不是一夜之間產(chǎn)生的，CIO的最大任務(wù)就是貼近業(yè)務(wù)的發(fā)展需求，用最少的投資滿足企業(yè)最大限度的發(fā)展需求。”方凡稱。
相關(guān)文章：
1.大數(shù)據(jù)時(shí)代讀書(shū)心得體會(huì)
3.大數(shù)據(jù)開(kāi)題報(bào)告范文