關于大數據的文章
關于大數據的文章
科技的進步在很多的時候總會超出我們的想象，試想如果未來我們一個人擁有的電腦設備超過現在全球現在計算能力的總和，一個人產生的數據量超過現在全球數據量的總和，大數據已經越來越被人們重視!下面是學習啦小編為大家整理的關于關于大數據的文章的相關資料，供您參考!
關于大數據的文章篇1：看懂工業(yè)大數據不得不讀的一篇文章!
工業(yè)大數據是互聯(lián)網、大數據和工業(yè)產業(yè)結合的產物，是中國制造2025、工業(yè)4.0等國家戰(zhàn)略在企業(yè)的落腳點。
對于企業(yè)而言，了解工業(yè)大數據產生的背景，歸納工業(yè)企業(yè)大數據的分類和特點，從數據流推動工業(yè)價值創(chuàng)造的視角看待、重造工業(yè)價值流程，將具有很強的現實意義。文章最后，筆者分享幾個在工業(yè)領域數據驅動價值創(chuàng)造的案例，希望起到拋磚引玉的作用。
工業(yè)大數據產生的背景
在工業(yè)生產中，無時不刻都在產生數據。生產機床的轉速、能耗，食品加工的溫濕度，火力發(fā)電機組的燃燒和燃煤消耗，汽車的裝備數據，物流車隊的位置和速度等，都是在生產過程中的數據。
自從工業(yè)從社會生產中獨立成為一個門類以來，工業(yè)生產的數據采集、使用范圍就逐步加大。從泰勒拿著秒表計算工人的用鐵鍬送煤到鍋爐的時間開始，是對制造管理數據的采集;福特汽車的流水化生產，是對汽車生產過程的工業(yè)數據的采集和工廠內使用;豐田的精益生產模式，將數據的采集和使用擴大到工廠和上下游供應鏈;核電站發(fā)電過程中全程自動化將生產過程數據的自動化水平提高到更高程度。
任何數據的采集和使用都是有成本的，工業(yè)數據也不例外。但隨著信息、電子和數學技術的發(fā)展，傳感器、物聯(lián)網等技術的發(fā)展，一批智能化、高精度、長續(xù)航、高性價比、微型傳感器面世，以物聯(lián)網為代表的新一代網絡技術在移動數據通信的支持下，能做到任何時間、任何地點采集、傳送數據。以云計算為代表的新型數據處理基礎架構，大幅降低工業(yè)數據處理的技術門檻和成本支出。
社會需求變革是最大拉動力。在商品過剩經濟時代，以個性化為代表的消費文化，使得工業(yè)企業(yè)的產出物，要最大限度匹配個性需求。從服裝定制，車輛選配，到T恤印花和個性化教育。
國策方針是重要影響力。完成了工業(yè)自動化過程的德國工業(yè)界，在自動化基礎上，以工業(yè)數據為基礎，引入云計算和人工智能技術，提升工業(yè)的智能化水平，以滿足大批量個性化定制的社會生產需求;美國擁有強大的云計算、互聯(lián)網及數據處理能力，基于此，提出工業(yè)互聯(lián)網戰(zhàn)略，將單個設備、單條生產線、單個工廠的數據聯(lián)網，通過大數據處理后，在診斷、預測、后服務等方面挖掘工業(yè)服務的價值。
中國相對于德國、美國而言，在工業(yè)自動化、在云計算等領域都處于發(fā)展期，因此提出中國制造2025計劃，通過工業(yè)化和信息化融合發(fā)展的方式，將工業(yè)化和信息化整體規(guī)劃，并制定一系列的重點工程和推進計劃。
工業(yè)大數據的特點和分類
隨著行業(yè)發(fā)展，工業(yè)企業(yè)收集的數據維度不斷擴大。主要體現在三個方面：
一是時間維度不斷延長。經過多年的生產經營，積累下來歷年的產品數據、工業(yè)數據、原材料數據和生產設備數據;
二是數據范圍不斷擴大。隨著企業(yè)信息化建設的過程，一方面積累了企業(yè)的財務、供應商數據，也通過CRM系統(tǒng)積累了客戶數據，通過CAD等積累了研發(fā)過程數據，通過攝像頭積累了生產安全數據等，另一方面越來越多的外部數據也被收集回來，包括市場數據、社交網絡數據、企業(yè)輿情數據等;
三是數據粒度不斷細化。從一款產品到多款、多系列產品使得產品數據不斷細化，從單機機床到聯(lián)網機床，使得數據交互頻率大大增強;加工精度從1mm提升到0.2mm，從5分鐘每次的統(tǒng)計到每5秒的全程監(jiān)測，都使得采集到的數據精細度不斷提升。
以上三個維度最終導致企業(yè)所積累的數據量以加速度的方式在增加，構成了工業(yè)大數據的集合。不管企業(yè)是否承認，這些數據都堆砌在工廠的各個角落，而且在不斷增加。
再從企業(yè)經營的視角來看待這些工業(yè)數據?？梢园凑諗祿挠猛痉殖扇悾?/p>
第一類是經營性數據，如財務、資產、人事、供應商基礎信息等數據，這些數據在企業(yè)信息化建設過程中陸陸續(xù)續(xù)積累起來，表現了一個工業(yè)企業(yè)的經營要素和成果。
第二類是生產性數據，這部分是圍繞企業(yè)生產過程中積累的數據，包括原材料、研發(fā)、生產工藝、半成品、成品、售后服務等。隨著數字機床、自動化生產線、SCADA系統(tǒng)的建設，這些數據也被企業(yè)大量記錄下來。這些數據是工業(yè)生產過程中價值增值的體現，是決定企業(yè)差異性的核心所在。
第三類是環(huán)境類數據，包括布置在機床的設備診斷系統(tǒng)，庫房、車間的溫濕度數據，以及能耗數據，廢水廢氣的排放等數據。這些數據對工業(yè)生產過程中起到約束作用。
從目前的數據采用情況看，經營類數據利用率最高，生產性數據和環(huán)境類數據相比差距比較大。從未來數據量來說，生產線數據在工業(yè)企業(yè)數據中的占比將越來越大，環(huán)境類數據也將越來越多樣化。
關于大數據的文章篇2：大數據的初步理解
似乎一夜之間，大數據(Big Data)變成一個IT行業(yè)中最時髦的詞匯。
首先，大數據不是什么完完全全的新生事物，Google的搜索服務就是一個典型的大數據運用，根據客戶的需求，Google實時從全球海量的數字資產(或數字垃圾)中快速找出最可能的答案，呈現給你，就是一個最典型的大數據服務。只不過過去這樣規(guī)模的數據量處理和有商業(yè)價值的應用太少，在IT行業(yè)沒有形成成型的概念?，F在隨著全球數字化、網絡寬帶化、互聯(lián)網應用于各行各業(yè)，累積的數據量越來越大，越來越多企業(yè)、行業(yè)和國家發(fā)現，可以利用類似的技術更好地服務客戶、發(fā)現新商業(yè)機會、擴大新市場以及提升效率，才逐步形成大數據這個概念。
有一個有趣的故事是關于奢侈品營銷的。PRADA在紐約的旗艦店中每件衣服上都有RFID碼。每當一個顧客拿起一件PRADA進試衣間，RFID會被自動識別。同時，數據會傳至PRADA總部。每一件衣服在哪個城市哪個旗艦店什么時間被拿進試衣間停留多長時間，數據都被存儲起來加以分析。如果有一件衣服銷量很低，以往的作法是直接干掉。但如果RFID傳回的數據顯示這件衣服雖然銷量低，但進試衣間的次數多。那就能另外說明一些問題。也許這件衣服的下場就會截然不同，也許在某個細節(jié)的微小改變就會重新創(chuàng)造出一件非常流行的產品。
還有一個是關于中國糧食統(tǒng)計的故事。中國的糧食統(tǒng)計是一個老大難的問題。中國的統(tǒng)計，雖然有組織、有流程、有法律，但中央的統(tǒng)計人員依靠省統(tǒng)計人員，省靠市，市靠縣，縣靠鎮(zhèn)，鎮(zhèn)靠村，最后真正干活或上報的是基層兼職的調查人員，由于眾所周知的KPI考核導向的原因，層層加碼，幾乎沒有人相信這個調查數據，而其中國家統(tǒng)計局的人是最不信的。在前兩年北京的一個會議上，原國家統(tǒng)計局總經濟師姚景源向我們講述了他們是如何做的。他們采用遙感衛(wèi)星，通過圖像識別，把中國所有的耕地標識、計算出來，然后把中國的耕地網格化，對每個網格的耕地抽樣進行跟蹤、調查和統(tǒng)計，然后按照統(tǒng)計學的原理，計算(或者說估算)出中國整體的整體糧食數據。這種做法是典型采用大數據建模的方法，打破傳統(tǒng)流程和組織，直接獲得最終的結果。
從這些案例來看，大數據并不是很神奇的事情。就如同電影《永無止境》提出的問題：人類通常只使用了20%的大腦，如果剩余80%大腦潛能被激發(fā)出來，世界會變得怎樣?在企業(yè)、行業(yè)和國家的管理中，通常只有效使用了不到20%的數據(甚至更少)，如果剩余80%數據的價值激發(fā)起來，世界會變得怎么樣呢?特別是隨著海量數據的新摩爾定律，數據爆發(fā)式增長，然后數據又得到更有效應用，世界會怎么樣呢?
單個的數據并沒有價值，但越來越多的數據累加，量變就會引起質變，就好像一個人的意見并不重要，但1千人、1萬人的意見就比較重要，上百萬人就足以掀起巨大的波瀾，上億人足以改變一切。
數據再多，但如果被屏蔽或者沒有被使用，也是沒有價值的。中國的航班晚點非常多，相比之下美國航班準點情況好很多。這其中，美國航空管制機構一個的好做法發(fā)揮了積極的作用，說起來也非常簡單，就是美國會公布每個航空公司、每一班航空過去一年的晚點率和平均晚點時間，這樣客戶在購買機票的時候就很自然會選擇準點率高的航班，從而通過市場手段牽引各航空公司努力提升準點率。這個簡單的方法比任何管理手段(如中國政府的宏觀調控手段)都直接和有效。這里多說一兩句，過去一個暴政國家對內的控制主要是物理上的暴力，就是強力機構權力無限大，搞國家恐怖主義;而現在一個暴政國家，主要是就靠壟斷信息、封鎖信息，讓民眾難以獲得廣泛而真實的信息，從而實現國家的控制。這個信息封鎖，就是對大數據的封鎖。
沒有整合和挖掘的數據，價值也呈現不出來?！队罒o止境》中的庫珀如果不能把海量信息圍繞某個公司的股價整合起來、串聯(lián)起來，這些信息就沒有價值。
因此，海量數據的產生、獲取、挖掘及整合，使之展現出巨大的商業(yè)價值，這就是我理解的大數據。在互聯(lián)網對一切重構的今天，這些問題都不是問題。因為，我認為大數據是互聯(lián)網深入發(fā)展的下一波應用，是互聯(lián)網發(fā)展的自然延伸。目前，可以說大數據的發(fā)展到了一個臨界點，因此才成為IT行業(yè)中最熱門的詞匯之一。
二、大數據將重構很多行業(yè)的商業(yè)思維和商業(yè)模式
我想以對未來汽車行業(yè)的狂野想象來展開這個題目。
在人的一生中，汽車是一項巨大的投資。以一部30萬車、七年換車周期來算，每年折舊費4萬多(這里還不算資金成本)，加上停車、保險、油、維修、保養(yǎng)等各項費用，每年耗費應在6萬左右。汽車產業(yè)也是一個很長產業(yè)鏈的龍頭產業(yè)，這個方面只有房地產可以媲美。
但同時，汽車產業(yè)鏈是一個低效率、變化慢的產業(yè)。汽車一直以來就是四個輪子、一個方向盤、兩排沙發(fā)(李書福語)。這么一個昂貴的東西，圍繞車產生的數據卻少的可憐，行業(yè)產業(yè)鏈之間幾無任何數據傳遞。
我們在這里狂野地想象一番，如果將汽車全面數字化，都大數據了，會產生什么結果?
有些人說，汽車數字化，不就是加個MBB模塊嗎?不，這太小兒科了。在我理想中，數字化意味著汽車可以隨時聯(lián)上互聯(lián)網，意味著汽車是一個大型計算系統(tǒng)加上傳統(tǒng)的輪子、方向盤和沙發(fā)，意味著可以數字化導航、自動駕駛，意味著你和汽車相關的每一個行動都數字化，包括每一次維修、每一次駕駛路線、每一次事故的錄像、每一天汽車關鍵部件的狀態(tài)，甚至你的每一個駕駛習慣(如每一次的剎車和加速)都記錄在案。這樣，你的車每月甚至每周都可能產生T比特的數據。
好了，我們假設這些數據都可以存儲并分享給相關的政府、行業(yè)和企業(yè)。這里不討論隱私問題帶來的影響，假設在隱私保護的前提下，數據可以自由分享。
那么，保險公司會怎么做呢?保險公司把你的所有數據拿過去建模分析，發(fā)現幾個重要的事實：一是你開車主要只是上下班，南山到坂田這條線路是非繁華路線，紅綠燈很少，這條路線過去一年統(tǒng)計的事故率很低;你的車況(車的使用年限、車型)好，此車型在全深圳也是車禍率較低;甚至統(tǒng)計你的駕駛習慣，加油平均，臨時剎車少，超車少，和周圍車保持了應有的車距，駕駛習慣好。最后結論是你車型好，車況好，駕駛習慣好，常走的線路事故率低，過去一年也沒有出過車禍，因此可以給予更大幅度的優(yōu)惠折扣。這樣保險公司就完全重構了它的商業(yè)模式了。在沒有大數據支撐之前，保險公司只把車險客戶做了簡單的分類，一共分為四種客戶，第一種是連續(xù)兩年沒有出車禍的，第二種過去一年沒有出車禍，第三種過去一年出了一次車禍，第四種是過去一年出了兩次及以上車禍的，就四種類型。這種簡單粗暴的分類，就好像女人找老公，僅把男人分為沒有結過婚的、結過一次婚的、結過二次婚的、結過三次及以上婚的四種男人，就敢嫁人一樣。在大數據的支持下，保險公司可以真正以客戶為中心，把客戶分為成千上萬種，每個客戶都有個性化的解決方案，這樣保險公司經營就完全不同，對于風險低的客戶敢于大膽折扣，對于風險高的客戶報高價甚至拒絕，一般的保險公司就完全難以和這樣的保險公司競爭了。擁有大數據并使用大數據的保險公司比傳統(tǒng)公司將擁有壓倒性的競爭優(yōu)勢，大數據將成為保險公司最核心的競爭力，因為保險就是一個基于概率評估的生意，大數據對于準確評估概率毫無疑問是最有利的武器，而且簡直是量身定做的武器。
在大數據的支持下，4S店的服務也完全不同了。車況信息會定期傳遞到4S店，4S店會根據情況及時提醒車主及時保養(yǎng)和維修，特別是對于可能危及安全的問題，在客戶同意下甚至會采取遠程干預措施，同時還可以提前備貨，車主一到4S店就可以維修而不用等待。
對于駕駛者來說，不想開車的時候，在大數據和人工智能的支持下，車輛可以自動駕駛，并且對于你經常開的線路可以自學習自優(yōu)化。谷歌的自動駕駛汽車，為了對周圍環(huán)境作出預測，每秒鐘要收集差不多1GB的數據，沒有大數據的支持，自動駕駛是不可想象的;在和周圍車輛過近的時候，會及時提醒車主避讓;上下班的時候，會根據實時大數據情況，對于你經常開車的線路予以提醒，繞開擁堵點，幫你選擇最合適的線路;在出現緊急狀況的時候，比如爆胎，自動駕駛系統(tǒng)將自動接管，提高安全性(人一輩子可以難以碰到一次爆胎，人在緊急時的反應往往是災難性的，只會更糟);到城市中心，尋找車位是一件很麻煩的事情，但未來你可以到了商場門口后，讓汽車自己去找停車位，等想要回程的時候，提前通知讓汽車自己開過來接。
車輛是城市最大最活躍的移動物體，是擁堵的來源，也是最大的污染來源之一。數字化的車輛、大數據應用將帶來很多的改變。紅綠燈可以自動優(yōu)化，根據不同道路的擁堵情況自動進行調整，甚至在很多地方可以取消紅綠燈;城市停車場也可以大幅度優(yōu)化，根據大數據的情況優(yōu)化城市停車位的設計，如果配合車輛的自動駕駛功能，停車場可以革命性演變，可以設計專門為自動駕駛車輛的停車樓，地下、地上樓層可以高達幾十層，停車樓層可以更矮，只要能高于車高度即可(或者把車豎起來停)，這樣將對城市規(guī)劃產生巨大的影響;在出現緊急情況，如前方塌方的時候，可以第一時間通知周圍車輛(尤其是開往塌方道路的車輛);現在的燃油稅也可以發(fā)生革命性變化，可以真正根據車輛的行駛路程，甚至根據汽車的排污量來收費，排污量少的車甚至可以搞碳交易，賣排放量賣給高油耗的車;政府還可以每年公布各類車型的實際排污量、稅款、安全性等指標，鼓勵民眾買更節(jié)能、更安全的車。
電子商務和快遞業(yè)也可能發(fā)生巨大的變化。運快遞的車都可以自動駕駛，不用趕白天的擁堵的道路，晚上半夜開，在你家門口設計自動接收箱，通過密碼開啟自動投遞進去，就好像過去報童投報一樣。
這么想象下來，我認為，汽車數字化、互聯(lián)網化、大數據應用、人工智能，將對汽車業(yè)及相關的長長的產業(yè)鏈產生難以想象的巨大變化和產業(yè)革命，具有無限的想象空間，可能完全被重構。當然，要實現我所描述的場景，估計至少50年、100年之后的事情了，估計我這輩子是看不到的。
這里，我想系統(tǒng)回顧一下工業(yè)文明的發(fā)展歷程，首先是物理世界的工業(yè)文明，典型是蒸汽機的發(fā)明，使汽車、輪船進入生活;然后是數字世界的工業(yè)文明，就是IT技術的使用，使PC及各種電子產品進入生活，以及企業(yè)數字化系統(tǒng)的建立，使沃爾瑪這樣的巨型企業(yè)產生成為可能;下一步就是物理世界和數字世界的融合，這也就是業(yè)界熱炒的“工業(yè)互聯(lián)網”、“IT 3.0”，而這里面除了數字技術在傳統(tǒng)行業(yè)的使用(這個事實上已經在廣泛使用)、電子商務在渠道的廣泛推行，更重要的就是大數據的產生及挖掘、使用，使企業(yè)在管理方式、市場機會挖掘、產品設計、營銷、服務、商業(yè)模式等發(fā)生巨大的變化，這種巨大的變化帶來了很多行業(yè)的革命性變局，也就是顛覆與改造。這種變化在所謂的低效率的大行業(yè)將最為明顯與直接。這些所謂的的低效率大行業(yè)，就是壟斷特征明顯、產業(yè)規(guī)模大、產業(yè)鏈長、歷史悠久但長時間變化少、IT應用水平低的行業(yè)，如汽車、金融、保險、醫(yī)療等。
在這個章節(jié)的最后，我想總結一下自己對大數據的看法。
第一，大數據使企業(yè)真正有能力從以自我為中心改變?yōu)橐钥蛻魹橹行?。企業(yè)是為客戶而生，目的是為股東獲得利潤。只有服務好客戶，才能獲得利潤。但過去，很多企業(yè)是沒有能力做到以客戶為中心的，原因就是相應客戶的信息量不大，挖掘不夠，系統(tǒng)也不支持，目前的保險業(yè)就是一個典型。大數據的使用能夠使對企業(yè)的經營對象從客戶的粗略歸納(就是所謂提煉歸納的“客戶群”)還原成一個個活生生的客戶，這樣經營就有針對性，對客戶的服務就更好，投資效率就更高。
第二，大數據一定程度上將顛覆了企業(yè)的傳統(tǒng)管理方式?，F代企業(yè)的管理方式是來源于對軍隊的模仿，依賴于層層級級的組織和嚴格的流程，依賴信息的層層匯集、收斂來制定正確的決策，再通過決策在組織的傳遞與分解，以及流程的規(guī)范，確保決策得到貫徹，確保每一次經營活動都有質量保證，也確保一定程度上對風險的規(guī)避。過去這是一種有用而笨拙的方式。在大數據時代，我們可能重構企業(yè)的管理方式，通過大數據的分析與挖掘，大量的業(yè)務本身就可以自決策，不必要依靠膨大的組織和復雜的流程。大家都是基于大數據來決策，都是依賴于既定的規(guī)則來決策，是高高在上的CEO決策，還是一線人員決策，本身并無大的區(qū)別，那么企業(yè)是否還需要如此多層級的組織和復雜的流程呢?
第三，大數據另外一個重大的作用是改變了商業(yè)邏輯，提供了從其他視角直達答案的可能性?，F在人的思考或者是企業(yè)的決策，事實上都是一種邏輯的力量在主導起作用。我們去調研，去收集數據，去進行歸納總結，最后形成自己的推斷和決策意見，這是一個觀察、思考、推理、決策的商業(yè)邏輯過程。人和組織的邏輯形成是需要大量的學習、培訓與實踐，代價是非常巨大的。但是否這是唯一的道路呢?大數據給了我們其他的選擇，就是利用數據的力量，直接獲得答案。就好像我們學習數學，小時候學九九乘法表，中學學幾何，大學還學微積分，碰到一道難題，我們是利用了多年學習沉淀的經驗來努力求解，但我們還有一種方法，在網上直接搜索是不是有這樣的題目，如果有，直接抄答案就好了。很多人就會批評說，這是抄襲，是作弊。但我們?yōu)槭裁匆獙W習啊?不就是為了解決問題嘛。如果我任何時候都可以搜索到答案，都可以用最省力的方法找到最佳答案，這樣的搜索難道不可以是一條光明大道嗎?換句話說，為了得到“是什么”，我們不一定要理解“為什么”。我們不是否定邏輯的力量，但是至少我們有一種新的巨大力量可以依賴，這就是未來大數據的力量。
第四，通過大數據，我們可能有全新的視角來發(fā)現新的商業(yè)機會和重構新的商業(yè)模式。我們現在看這個世界，比如分析家中食品腐敗，主要就是依賴于我們的眼睛再加上我們的經驗，但如果我們有一臺顯微鏡，我們一下就看到壞細菌，那么分析起來完全就不一樣了。大數據就是我們的顯微鏡，它可以讓我們從全新視角來發(fā)現新的商業(yè)機會，并可能重構商業(yè)模型。我們的產品設計可能不一樣了，很多事情不用猜了，客戶的習慣和偏好一目了然，我們的設計就能輕易命中客戶的心窩;我們的營銷也完全不同了，我們知道客戶喜歡什么、討厭什么，更有針對性。特別是顯微鏡再加上廣角鏡，我們就有更多全新的視野了。這個廣角鏡就是跨行業(yè)的數據流動，使我們過去看不到的東西都能看到了，比如前面所述的汽車案例，開車是開車，保險是保險，本來不相關，但當我們把開車的大數據傳遞到保險公司，那整個保險公司的商業(yè)模式就全變了，完全重構了。
最后一點，我想談的是大數據發(fā)展對IT本身技術架構的革命性影響。大數據的根基是IT系統(tǒng)。我們現代企業(yè)的IT系統(tǒng)基本上是建立在IOE(IBM小型機、Oracle數據庫、EMC存儲)+Cisco模型基礎上的，這樣的模型是Scale-UP型的架構，在解決既定模型下一定數據量的業(yè)務流程是適配的，但如果是大數據時代，很快會面臨成本、技術和商業(yè)模式的問題，大數據對IT的需求很快就會超越了現有廠商架構的技術頂點，超大數據增長將帶來IT支出增長之間的線性關系，使企業(yè)難以承受。因此，目前在行業(yè)中提出的去IOE趨勢，利用Scale-out架構+開源軟件對Scale-up架構+私有軟件的取代，本質是大數據業(yè)務模型所帶來的，也就是說大數據將驅動IT產業(yè)新一輪的架構性變革。去IOE潮流中的所謂國家安全因素，完全是次要的。
所以，美國人說，大數據是資源，和大油田、大煤礦一樣，可以源源不斷挖出大財富。而且和一般資源不一樣，它是可再生的，是越挖越多、越挖越值錢的，這是反自然規(guī)律的。對企業(yè)如此，對行業(yè)、對國家也是這樣，對人同樣如此。這樣的東西誰不喜歡呢?因此，大數據這么熱門，是完全有道理的。
關于大數據的文章篇3：一篇文章讀懂大數據思維
真正的革命并不在于分析數據的機器，而在于數據本身和我們如何運用數據。將大規(guī)模的數據與運用融合一起，將會顛覆很多我們原來的思維。大數據思維原理到底是什么?筆者概括為10項原理。
一、數據核心原理：從“流程”核心轉變?yōu)?ldquo;數據”核心
大數據時代，計算模式也發(fā)生了轉變，從“流程”核心轉變?yōu)?ldquo;數據”核心。Hadoop體系的分布式計算框架已經是“數據”為核心的范式。非結構化數據及分析需求，將改變IT系統(tǒng)的升級方式：從簡單增量到架構變化。大數據下的新思維——計算模式的轉變。
例如：IBM將使用以數據為中心的設計，目的是降低在超級計算機之間進行大量數據交換的必要性。大數據下，云計算找到了破繭重生的機會，在存儲和計算上都體現了數據為核心的理念。
大數據和云計算的關系：云計算為大數據提供了有力的工具和途徑，大數據為云計算提供了很有價值的用武之地。而大數據比云計算更為落地，可有效利用已大量建設的云計算資源，最后加以利用。
科學進步越來越多地由數據來推動，海量數據給數據分析既帶來了機遇，也構成了新的挑戰(zhàn)。大數據往往是利用眾多技術和方法，綜合源自多個渠道、不同時間的信息而獲得的。為了應對大數據帶來的挑戰(zhàn)，我們需要新的統(tǒng)計思路和計算方法。
說明：用數據核心思維方式思考問題，解決問題。以數據為核心，反映了當下IT產業(yè)的變革，數據成為人工智能的基礎，也成為智能化的基礎，數據比流程更重要，數據庫、記錄數據庫，都可開發(fā)出深層次信息。云計算機可以從數據庫、記錄數據庫中搜索出你是誰，你需要什么，從而推薦給你需要的信息。
二、數據價值原理：由功能是價值轉變?yōu)閿祿莾r值
大數據真正有意思的是數據變得在線了，這個恰恰是互聯(lián)網的特點。非互聯(lián)網時期的產品，功能一定是它的價值，今天互聯(lián)網的產品，數據一定是它的價值。
例如：大數據的真正價值在于創(chuàng)造，在于填補無數個還未實現過的空白。有人把數據比喻為蘊藏能量的煤礦，煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。
與此類似，大數據并不在“大”，而在于“有用”，價值含量、挖掘成本比數量更為重要。不管大數據的核心價值是不是預測，但是基于大數據形成決策的模式已經為不少的企業(yè)帶來了盈利和聲譽。
數據能告訴我們，每一個客戶的消費傾向，他們想要什么，喜歡什么，每個人的需求有哪些區(qū)別，哪些又可以被集合到一起來進行分類。大數據是數據數量上的增加，以至于我們能夠實現從量變到質變的過程。
舉例來說，這里有一張照片，照片里的人在騎馬，這張照片每一分鐘，每一秒都要拍一張，但隨著處理速度越來越快，從1分鐘一張到1秒鐘1張，突然到1秒鐘10張后，就產生了電影。當數量的增長實現質變時，就從照片變成了一部電影。
美國有一家創(chuàng)新企業(yè)Decide.com，它可以幫助人們做購買決策，告訴消費者什么時候買什么產品，什么時候買最便宜，預測產品的價格趨勢，這家公司背后的驅動力就是大數據。他們在全球各大網站上搜集數以十億計的數據，然后幫助數以十萬計的用戶省錢，為他們的采購找到最好的時間，降低交易成本，為終端的消費者帶去更多價值。
在這類模式下，盡管一些零售商的利潤會進一步受擠壓，但從商業(yè)本質上來講，可以把錢更多地放回到消費者的口袋里，讓購物變得更理性，這是依靠大數據催生出的一項全新產業(yè)。這家為數以十萬計的客戶省錢的公司，在幾個星期前，被eBay以高價收購。
再舉一個例子，SWIFT是全球最大的支付平臺，在該平臺上的每一筆交易都可以進行大數據的分析，他們可以預測一個經濟體的健康性和增長性。比如，該公司現在為全球性客戶提供經濟指數，這又是一個大數據服務。
定制化服務的關鍵是數據。《大數據時代》的作者維克托·邁爾·舍恩伯格認為，大量的數據能夠讓傳統(tǒng)行業(yè)更好地了解客戶需求，提供個性化的服務。
說明：用數據價值思維方式思考問題，解決問題。信息總量的變化導致了信息形態(tài)的變化，量變引發(fā)了質變，最先經歷信息爆炸的學科，如天文學和基因學，創(chuàng)造出了“大數據”這個概念。
如今，這個概念幾乎應用到了所有人類致力于發(fā)展的領域中。從功能為價值轉變?yōu)閿祿閮r值，說明數據和大數據的價值在擴大，數據為“王”的時代出現了。數據被解釋是信息，信息常識化是知識，所以說數據解釋、數據分析能產生價值。
三、全樣本原理原理：從抽樣轉變?yōu)樾枰繑祿颖?/p>
需要全部數據樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現在數據足夠多，它會讓人能夠看得見、摸得著規(guī)律。數據這么大、這么多，所以人們覺得有足夠的能力把握未來，對不確定狀態(tài)的一種判斷，從而做出自己的決定。
這些東西我們聽起來都是非常原始的，但是實際上背后的思維方式，和我們今天所講的大數據是非常像的。
舉例：在大數據時代，無論是商家還是信息的搜集者，會比我們自己更知道你可能會想干什么。現在的數據還沒有被真正挖掘，如果真正挖掘的話，通過信用卡消費的記錄，可以成功預測未來5年內的情況。
統(tǒng)計學里頭最基本的一個概念就是，全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律?一個更深層的概念是人和人是一樣的，如果是一個人特例出來，可能很有個性，但當人口樣本數量足夠大時，就會發(fā)現其實每個人都是一模一樣的。
說明：用全數據樣本思維方式思考問題，解決問題。從抽樣中得到的結論總是有水分的，而全部樣本中得到的結論水分就很少，大數據越大，真實性也就越大，因為大數據包含了全部的信息。
四、關注效率原理：由關注精確度轉變?yōu)殛P注效率
關注效率而不是精確度，大數據標志著人類在尋求量化和認識世界的道路上前進了一大步，過去不可計量、存儲、分析和共享的很多東西都被數據化了，擁有大量的數據和更多不那么精確的數據為我們理解世界打開了一扇新的大門。
大數據能提高生產效率和銷售效率，原因是大數據能夠讓我們知道市場的需要，人的消費需要。大數據讓企業(yè)的決策更科學，由關注精確度轉變?yōu)殛P注效率的提高，大數據分析能提高企業(yè)的效率。
例如：在互聯(lián)網大數據時代，企業(yè)產品迭代的速度在加快。三星、小米手機制造商半年就推出一代新智能手機。利用互聯(lián)網、大數據提高企業(yè)效率的趨勢下，快速就是效率、預測就是效率、預見就是效率、變革就是效率、創(chuàng)新就是效率、應用就是效率。
競爭是企業(yè)的動力，而效率是企業(yè)的生命，效率低與效率高是衡量企來成敗的關鍵。一般來講，投入與產出比是效率，追求高效率也就是追求高價值。手工、機器、自動機器、智能機器之間效率是不同的，智能機器效率更高，已能代替人的思維勞動。智能機器核心是大數據制動，而大數據制動的速度更快。
在快速變化的市場，快速預測、快速決策、快速創(chuàng)新、快速定制、快速生產、快速上市成為企業(yè)行動的準則，也就是說，速度就是價值，效率就是價值，而這一切離不開大數據思維。
說明：用關注效率思維方式思考問題，解決問題。大數據思維有點像混沌思維，確定與不確定交織在一起，過去那種一元思維結果，已被二元思維結果取代。
過去尋求精確度，現在尋求高效率;過去尋求因果性，現在尋求相關性;過去尋找確定性，現在尋找概率性，對不精確的數據結果已能容忍。只要大數據分析指出可能性，就會有相應的結果，從而為企業(yè)快速決策、快速動作、創(chuàng)占先機提高了效率。
五、關注相關性原理：由因果關系轉變?yōu)殛P注相關性
關注相關性而不是因果關系，社會需要放棄它對因果關系的渴求，而僅需關注相關關系，也就是說只需要知道是什么，而不需要知道為什么。這就推翻了自古以來的慣例，而我們做決定和理解現實的最基本方式也將受到挑戰(zhàn)。
例如：大數據思維一個最突出的特點，就是從傳統(tǒng)的因果思維轉向相關思維，傳統(tǒng)的因果思維是說我一定要找到一個原因，推出一個結果來。
而大數據沒有必要找到原因，不需要科學的手段來證明這個事件和那個事件之間有一個必然，先后關聯(lián)發(fā)生的一個因果規(guī)律。它只需要知道，出現這種跡象的時候，我就按照一般的情況，這個數據統(tǒng)計的高概率顯示它會有相應的結果，那么我只要發(fā)現這種跡象的時候，我就可以去做一個決策，我該怎么做。
這是和以前的思維方式很不一樣，老實說，它是一種有點反科學的思維，科學要求實證，要求找到準確的因果關系。
在這個不確定的時代里面，等我們去找到準確的因果關系，再去辦事的時候，這個事情早已經不值得辦了。所以“大數據”時代的思維有點像回歸了工業(yè)社會的這種機械思維——機械思維就是說我按那個按鈕，一定會出現相應的結果，是這樣狀態(tài)。
而農業(yè)社會往前推，不需要找到中間非常緊密的、明確的因果關系，而只需要找到相關關系，只需要找到跡象就可以了。社會因此放棄了尋找因果關系的傳統(tǒng)偏好，開始挖掘相關關系的好處。
例如：美國人開發(fā)一款“個性化分析報告自動可視化程序”軟件從網上挖掘數據信息，這款數據挖掘軟件將自動從各種數據中提取重要信息，然后進行分析，并把此信息與以前的數據關聯(lián)起來，分析出有用的信息。
非法在屋內打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬宗有關房屋住得過于擁擠的投訴，但市里只有200名處理投訴的巡視員，市長辦公室一個分析專家小組覺得大數據可以幫助解決這一需求與資源的落差。
該小組建立了一個市內全部90萬座建筑物的數據庫，并在其中加入市里19個部門所收集到的數據：欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當地犯罪率、鼠患投訴，諸如此類。
接下來，他們將這一數據庫與過去5年中按嚴重程度排列的建筑物著火記錄進行比較，希望找出相關性。果然，建筑物類型和建造年份是與火災相關的因素。不過，一個沒怎么預料到的結果是，獲得外磚墻施工許可的建筑物與較低的嚴重火災發(fā)生率之間存在相關性。
利用所有這些數據，該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數據都不是導致火災的原因，但這些數據與火災隱患的增加或降低存在相關性。
這種知識被證明是極具價值的：過去房屋巡視員出現場時簽發(fā)房屋騰空令的比例只有13%，在采用新辦法之后，這個比例上升到了70%——效率大大提高了。
全世界的商界人士都在高呼大數據時代來臨的優(yōu)勢：一家超市如何從一個17歲女孩的購物清單中，發(fā)現了她已懷孕的事實;或者將啤酒與尿不濕放在一起銷售，神奇地提高了雙方的銷售額。大數據透露出來的信息有時確實會起顛覆。
比如，騰訊一項針對社交網絡的統(tǒng)計顯示，愛看家庭劇的男人是女性的兩倍還多;最關心金價的是中國大媽，但緊隨其后的卻是90后。而在過去一年，支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內蒙古地區(qū)。
說明：用關注相關性思維方式來思考問題，解決問題。尋找原因是一種現代社會的一神論，大數據推翻了這個論斷。
過去尋找原因的信念正在被“更好”的相關性所取代。當世界由探求因果關系變成挖掘相關關系，我們怎樣才能既不損壞建立在因果推理基礎之上的社會繁榮和人類進步的基石，又取得實際的進步呢?這是值得思考的問題。
解釋：轉向相關性，不是不要因果關系，因果關系還是基礎，科學的基石還是要的。只是在高速信息化的時代，為了得到即時信息，實時預測，在快速的大數據分析技術下，尋找到相關性信息，就可預測用戶的行為，為企業(yè)快速決策提供提前量。
比如預警技術，只有提前幾十秒察覺，防御系統(tǒng)才能起作用。比如，雷達顯示有個提前量，如果沒有這個預知的提前量，雷達的作用也就沒有了，相關性也是這個原理。比如，相對論與量子論的爭論也能說明問題，一個說上帝不擲骰子，一個說上帝擲骰子，爭論幾十年，最后承認兩個都存在，而且量子論取得更大的發(fā)展——一個適用于宇宙尺度，一個適用于原子尺度。
看過“關于大數據的文章”的人還看了：
4.大數據學術論文