大數(shù)據(jù)管理論文(2)
大數(shù)據(jù)管理論文篇二
大數(shù)據(jù)與政府?dāng)?shù)據(jù)管理
摘要：21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時代，2011年5月，在“云計劃相遇大數(shù)據(jù)”為主題的EMC World 2011會議中，EMC拋出了大數(shù)據(jù)的概念。本文從詳細(xì)介紹大數(shù)據(jù)入手，分析了政府?dāng)?shù)據(jù)管理中不利于大數(shù)據(jù)應(yīng)用的問題，并提出了一定的解決辦法，以期推進(jìn)我國政府管理的大數(shù)據(jù)建設(shè)。
關(guān)鍵詞：政府?dāng)?shù)據(jù)管理 大數(shù)據(jù) 信息化建設(shè)
1.大數(shù)據(jù)的概念
目前，國內(nèi)外沒有統(tǒng)一的大數(shù)據(jù)概念，一般是指大小已經(jīng)超出了傳統(tǒng)意義，一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù)。“大數(shù)據(jù)”之“大”并不僅僅在于其“容量之大”，而是指在大規(guī)模數(shù)據(jù)的基礎(chǔ)上可以做的事情，而這些事情在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法實現(xiàn)的。大數(shù)據(jù)通過對海量數(shù)據(jù)進(jìn)行整理、分析，獲得有巨大價值的產(chǎn)品，或深刻的洞見，最終形成變革之力。
大數(shù)據(jù)擁有四大特征：
第一，大量(Volume)。2012年、2013年產(chǎn)生數(shù)據(jù)量總和是人類有歷史以來到2011年產(chǎn)生數(shù)據(jù)量的總和，兩年的數(shù)據(jù)量等于一萬年的總和，這個數(shù)據(jù)規(guī)模為1.8ZB。這表明互聯(lián)網(wǎng)時代的社交網(wǎng)絡(luò)、電子商務(wù)與移動通信把人類帶入了一個以“PB”乃至“EB”為單位的新時代。
第二，多樣(Variety)。大數(shù)據(jù)有網(wǎng)絡(luò)數(shù)據(jù)、企事業(yè)單位數(shù)據(jù)、政府?dāng)?shù)據(jù)，有網(wǎng)絡(luò)數(shù)據(jù)自媒體數(shù)據(jù)(比如社交網(wǎng)絡(luò)、博客、微博等)，有日志數(shù)據(jù)(比如搜索引擎，大家上網(wǎng)等等都會留下很多足跡)，還有富媒體數(shù)據(jù)(視頻、音頻等等)，相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越多，這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求。
第三，價值(Value)。被稱為“大數(shù)據(jù)時代預(yù)言家”的牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與管理專業(yè)教授維克托・邁爾-舍恩伯格說：“大數(shù)據(jù)的核心就是預(yù)測，不是要教機(jī)器像人一樣思考，而是要把數(shù)學(xué)計算運(yùn)用到海量數(shù)據(jù)上，來預(yù)測事情發(fā)生的可能性”。預(yù)測，作為大數(shù)據(jù)的核心力量，早已被多次證明。2009年，Google曾用大數(shù)據(jù)分析5000萬條美國人頻繁檢索的詞匯，將之和美國疾病中心在2003-2008年間季節(jié)性流感傳播時期的數(shù)據(jù)進(jìn)行比較，準(zhǔn)確預(yù)測當(dāng)年的流感趨勢，甚至可以具體到特定的地區(qū)和州。
第四，高速(Velocity)。1秒定律，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”的報告，預(yù)計到2020年，全球數(shù)據(jù)使用量將達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。
簡單地說，大量化、多樣化、快速化以及價值密度低就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。
2.政府?dāng)?shù)據(jù)管理三部曲
黨的報告首次提出“四化同步”戰(zhàn)略，將信息化提升到國家戰(zhàn)略高度，如果地方政府、各部門采取“鴕鳥政策 ”，不去了解虛擬世界，不會運(yùn)用移動互聯(lián)網(wǎng)信息技術(shù)，不懂得大數(shù)據(jù)概念。這樣既不符合中央要求，也不符合時代的要求，只能讓我們在時代發(fā)展中步步落伍。
哈佛大學(xué)商學(xué)院達(dá)文波特說：大數(shù)據(jù)及其分析，將會在未來10年改變幾乎每一個行業(yè)的業(yè)務(wù)功能。任何一個組織，如果早一點著手大數(shù)據(jù)的工作，就可以獲得明顯的競爭優(yōu)勢。數(shù)據(jù)被視為科學(xué)的度量，知識的來源;沒有數(shù)據(jù)，無論是學(xué)術(shù)研究，還是政策的制定，都將寸步難行。那么作為政府部門該如何進(jìn)行數(shù)據(jù)管理呢?
2.1數(shù)據(jù)收集
我國是一個人口大國，也是互聯(lián)網(wǎng)大國、手機(jī)大國，但很可惜，卻是一個大數(shù)據(jù)小國。《“大數(shù)據(jù)”》的作者徐子沛認(rèn)為，這是因為我們收集數(shù)據(jù)的意識比較差。在技術(shù)層面，我們與美國等國家差距并不大。但由于缺乏“大數(shù)據(jù)”意識，很多數(shù)據(jù)得不到收集和存儲，也就無法有效利用。政府部門在運(yùn)用大數(shù)據(jù)時首要任務(wù)就是建立收集網(wǎng)絡(luò)，收集大數(shù)據(jù)。根據(jù)麥肯錫的數(shù)據(jù)，我國2010年新增的數(shù)據(jù)量約為250拍，不及日本的400拍、歐洲的2000拍，與美國的3500拍更是相去甚遠(yuǎn)。
我國才剛剛開始試水大數(shù)據(jù)戰(zhàn)略，可借鑒國外收集、管理、利用數(shù)據(jù)的先進(jìn)經(jīng)驗，改進(jìn)政府的決策，提高工作效率。而美國在這方面已經(jīng)形成了一套完整的規(guī)范，值得學(xué)習(xí)。
比如美國的交通安全管理局作為美國聯(lián)邦政府最早大規(guī)模收集數(shù)據(jù)部門之一，在1966年起就開始在全國范圍內(nèi)收集交通事故記錄雖然一起交通事故的數(shù)據(jù)可能是無序的，一年的數(shù)據(jù)、一個地區(qū)的數(shù)據(jù)也無章可循，但隨著跨年度、跨地區(qū)的數(shù)據(jù)的累積和增多，群體的行為規(guī)律就會浮出水面，可以通過挖掘這些數(shù)據(jù)，制定合理政策，避免交通事故的發(fā)生率。
數(shù)據(jù)源主要是收集三種類型的數(shù)據(jù)：
業(yè)務(wù)管理數(shù)據(jù)：以基層上報、被動接收下級部門和各類社會組織數(shù)據(jù)。我國衛(wèi)生部在2006年制定了第一套最小標(biāo)準(zhǔn)數(shù)據(jù)集。而美國現(xiàn)在的很多行業(yè)都有著這樣的統(tǒng)一“最小數(shù)據(jù)集”，2011年美國已擁有1萬多個這樣的系統(tǒng)。
民意社情數(shù)據(jù)：投入人力、財力主動收集單個公民或組織數(shù)據(jù)。我國國家統(tǒng)計局于2006年正式成立了社情民意調(diào)查中心，并于2013年11月，與百度、阿里巴巴、卓創(chuàng)資訊等11家企業(yè)簽訂了大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議。2014年初，與卓創(chuàng)資訊聯(lián)合發(fā)布流通領(lǐng)域重要生產(chǎn)資料價格，這被視為擁抱大數(shù)據(jù)的重要舉措。
物理環(huán)境數(shù)據(jù)：以傳感器自動采集自然環(huán)境、動植物、物體數(shù)據(jù)。對此數(shù)據(jù)的采集，我國更是落后，直到2010年物聯(lián)網(wǎng)的技術(shù)開始在鐵道部、交通部得到應(yīng)用。
2.2 數(shù)據(jù)分析
進(jìn)入大數(shù)據(jù)時代之后，個人的社會行為很多都被數(shù)字化，如個人網(wǎng)上瀏覽記錄、消費(fèi)記錄，通話記錄等等，這些數(shù)據(jù)足以勾畫出一個人的主要社會活動圖像，并由這些活動圖像對個人的行為特征進(jìn)行分析。大數(shù)據(jù)的意義不在于龐大的數(shù)據(jù)信息，而在于對其中有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理，只有通過分析才能獲取很多智能的、深入的、有價值的信息。例如，生活在美國明尼蘇達(dá)州的一位父親與15歲的女兒購物后?；丶野l(fā)現(xiàn)商品中被加入了很多針對嬰兒孕婦商品的廣告，怒氣沖沖地跑到超市投訴。兩周后，父親向經(jīng)理道歉，這時他才知道自己女兒已經(jīng)懷孕近兩個月。而超市就是通過數(shù)據(jù)分析公司根據(jù)她女兒近期所有購物數(shù)據(jù)預(yù)測出該顧客懷孕，這就是大數(shù)據(jù)洞察人的方式。 分析的首要前提是讓看起來不相關(guān)的數(shù)據(jù)真正地關(guān)聯(lián)起來。其次，讓這些不會說話的“盲數(shù)據(jù)”活起來。只有這樣才可以及時掌握社會經(jīng)濟(jì)發(fā)展、公共服務(wù)職能運(yùn)行狀況，才能為政府科學(xué)決策和提升執(zhí)政能力提供很好的支撐保障。比如城市化的進(jìn)展給我們帶來了現(xiàn)代化生活的同時，也帶來了諸如環(huán)境的污染、交通的堵塞、能耗的增加等等很多問題。在過去因為城市的設(shè)置過于復(fù)雜，要解決這些問題很難。但是今天，傳感器技術(shù)的發(fā)展和云計算的成熟，產(chǎn)生了大量的大數(shù)據(jù)，社交媒體數(shù)據(jù)、氣象數(shù)據(jù)、交通數(shù)據(jù)、地圖數(shù)據(jù)等等，如果我們使用得當(dāng)?shù)脑?，這些大數(shù)據(jù)就能引導(dǎo)我們發(fā)現(xiàn)問題，并進(jìn)一步解決問題。比如空氣質(zhì)量問題，我們就可以通過收集空氣質(zhì)量監(jiān)測站的關(guān)于氣象條件的數(shù)據(jù)加上交通數(shù)據(jù)、人口、餐廳、公園等等數(shù)據(jù)，建立一個地方的數(shù)據(jù)庫和這個地方空氣質(zhì)量的模型，這樣我們就可以算出這個地方任何一個角落的空氣質(zhì)量。我們就知道我們什么時候可以出來散步，什么時候小孩子可以出來玩，同時這也是進(jìn)一步解決空氣污染的前奏。
我國經(jīng)過20多年的電子政務(wù)建設(shè)，政府的管理信息系統(tǒng)及數(shù)據(jù)的采集處理幾乎覆蓋各業(yè)務(wù)部門和主要公共服務(wù)，政府掌握著大量的、關(guān)鍵的數(shù)據(jù)，那些沉睡在檔案袋、文件夾中的數(shù)據(jù)，有著無比巨大的價值，能產(chǎn)生驚人的效用。比如，某導(dǎo)航公司將上海公開的2萬多條地理位置信息用于地圖編制與更新，服務(wù)了上億用戶。
但是，這些數(shù)據(jù)應(yīng)用是極少一部分，政府掌握的絕大多數(shù)數(shù)據(jù)處于休眠狀態(tài)，如何讓這些“盲數(shù)據(jù)”發(fā)揮出活力，是“大數(shù)據(jù)”時代我國政府面臨的關(guān)鍵問題。而我國現(xiàn)有的政府部門的數(shù)據(jù)猶如一個個信息孤島，數(shù)據(jù)缺乏統(tǒng)一的格式，數(shù)據(jù)交換缺乏統(tǒng)一的標(biāo)準(zhǔn)和平臺。不用說跨部門之間的信息交換，即便是同一部委，不同業(yè)務(wù)部門的數(shù)據(jù)交換也存在障礙。盡管我國為了提升電子政務(wù)發(fā)展水平，實施了“十二金”工程，但數(shù)據(jù)孤島在我國當(dāng)前政府部門的信息化系統(tǒng)之間是一種普遍現(xiàn)象，這從國際上公認(rèn)衡量各國信息化發(fā)展水平的全球電子政務(wù)發(fā)展指數(shù)(EGDI)上面也能體現(xiàn)。近十年，我國EGDI排名先升后降，從2003年第74位升至2005年第57位，2012年跌至第78位。
不過互聯(lián)網(wǎng)和移動互聯(lián)的普及，已經(jīng)在形成一種態(tài)勢倒逼政府的科學(xué)決策，更是對政府執(zhí)政能力的考驗。我們不能確定這股數(shù)據(jù)浪潮究竟何時會給政府的數(shù)據(jù)應(yīng)用帶來根本性的改變，但我們已經(jīng)看見這種趨勢已經(jīng)在漸漸形成。對于政府部門而言，為了迎接以數(shù)據(jù)分析為支撐的科學(xué)決策的到來，我國先后制定了多項政策，《“十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》中，“智能海量數(shù)據(jù)處理相關(guān)軟件研發(fā)和產(chǎn)業(yè)化”(大數(shù)據(jù)技術(shù))被列為重點發(fā)展技術(shù)方向之一。此外，我國發(fā)展大數(shù)據(jù)的產(chǎn)業(yè)環(huán)境也日漸成熟。2013年8月14日，國務(wù)院發(fā)布《關(guān)于促進(jìn)信息消費(fèi)擴(kuò)大內(nèi)需的若干意見》(以下簡稱意見)，賦予信息消費(fèi)拉動經(jīng)濟(jì)增長的重要使命。隨后緊接著推出的“寬帶中國”戰(zhàn)略，更是為大數(shù)據(jù)發(fā)展提供了良好的基礎(chǔ)網(wǎng)絡(luò)環(huán)境。當(dāng)然在管理上，在人才上，在法律上，在產(chǎn)業(yè)支撐環(huán)境方面等等，我國政府還有太多的課要補(bǔ)，從認(rèn)識到“大數(shù)據(jù)能產(chǎn)生價值”，到實現(xiàn)了“從大數(shù)據(jù)中找到價值”，再到“有效使用大數(shù)據(jù)產(chǎn)生的價值”，這是一條漫長的道路。
2.3數(shù)據(jù)發(fā)布
2007年4月耶魯大學(xué)法學(xué)院教授丹尼爾・埃斯蒂，曾分析過信息開放對美國政府改革的重要性：
“盡管信息時代的技術(shù)進(jìn)步已經(jīng)徹底改變了商業(yè)領(lǐng)域和體育運(yùn)動領(lǐng)域的決策過程，但聯(lián)邦政府對這些技術(shù)的應(yīng)用還僅僅處在一個開始的階段。要實施‘數(shù)據(jù)驅(qū)動的決策方法’，不僅要使用新的技術(shù)、還要改變目前的決策過程。一旦打破這些障礙，將從中獲益：政府將更有效率、更加開放、更加負(fù)責(zé)，引導(dǎo)政府前進(jìn)的將是‘基于實證的事實’，而不是‘意識形態(tài)’，也不是利益集團(tuán)在決策過程中施加的影響。”
2.3.1政府部門通過對數(shù)據(jù)的發(fā)布接受社會監(jiān)督。美國著名的大法官路易斯.布蘭代斯有一句名言：“陽光是最好的防腐劑。” 面對公共信息，奧巴馬在簽署第二份總統(tǒng)備忘錄《信息自由法》時強(qiáng)調(diào)，“當(dāng)我們有所懷疑的時候，公開是第一選擇。我們不能因為公開可能導(dǎo)致我們的官員陷于難堪的境地，或者會暴露我們的錯誤和失敗，或者因為莫名的擔(dān)心和害怕，而把信息打上‘保密’的標(biāo)簽”?？梢哉f這份備忘錄的簽署，不僅在美國聯(lián)邦政府的各部門刮起了“透明和開放”的旋風(fēng)，而且波及全世界很多國家。政府?dāng)?shù)據(jù)的發(fā)布在一定程度上可以制約權(quán)力濫用，如果把政府公權(quán)力的行使由個別人、少數(shù)人知情變?yōu)槎鄶?shù)人知情，就能規(guī)范行政行為，消除暗箱操作，把腐敗的發(fā)生率降到最低。唯有此才能做到“權(quán)為民所用、情為民所系、利為民所謀”。近年來，我國教育部實現(xiàn)網(wǎng)上招生錄取，錄取信息網(wǎng)上查閱。政府部門“三公”經(jīng)費(fèi)的公開等等，都有效防止了腐敗現(xiàn)象的發(fā)生。
2.3.2鼓勵民間介入。在網(wǎng)上發(fā)布數(shù)據(jù)，將會吸引一大批對這個問題感興趣的各界人士參與到政策制定的過程中來，將會使所有的問題都無所遁形，更多的問題將被發(fā)現(xiàn)，更多的細(xì)節(jié)將被討論，更好的方案將會被激發(fā)。據(jù)介紹，美國聯(lián)邦政府建立了“Data.Gov”網(wǎng)站，開放一些公共數(shù)據(jù)并鼓勵挖掘。截至2011年12月，該網(wǎng)站共有3721項原始數(shù)據(jù)、386429項地理數(shù)據(jù)、1570個數(shù)據(jù)可視化應(yīng)用。人們可以從這些數(shù)據(jù)中找出空氣質(zhì)量與工廠數(shù)量、胖子數(shù)量與快餐店多寡等關(guān)聯(lián)。這對經(jīng)濟(jì)、環(huán)保等領(lǐng)域的研究有著非凡的意義。
2.3.3推動政策復(fù)制。通過發(fā)布這些數(shù)據(jù)，一項具體政策的執(zhí)行效果能夠被量化，各省之間很方便進(jìn)行“事實對比”，新的政策如果有效，很容易在全國范圍內(nèi)被接受、復(fù)制并推廣，形成一種良性的“政策競爭”氛圍。《“大數(shù)據(jù)”》有一個這樣的案例，1980年開始，美國個別州開始實施駕駛?cè)藛T必須佩戴安全帶的規(guī)定，但隨后收集到的數(shù)據(jù)卻表明，實施同樣規(guī)定的州，死亡率的下降幅度卻各不相同。這個數(shù)據(jù)之差引發(fā)了聯(lián)邦政府對全國的執(zhí)行情況進(jìn)行檢查和對比。后來發(fā)現(xiàn)，效果明顯的州，警察有權(quán)力隨時截停車輛、檢查司乘人員是否佩戴了安全帶，而效果不明顯的州，僅僅規(guī)定警察只能在以其他理由截停車輛時順便檢查車上的人員是否佩戴了安全帶。這個發(fā)現(xiàn)，后來引發(fā)了多個州執(zhí)法方式的改變。
2.3.4提高管理能力。通過數(shù)據(jù)整合和運(yùn)用提高管理能力，是目前世界各國的通用做法。在西班牙首都馬德里，整合警察、消防、醫(yī)療系統(tǒng)，使救援時間大同度縮短;在新加坡，智能交通綜合信息管理平臺在預(yù)測交通流速和流量方面有高達(dá)85%的準(zhǔn)確率。在美國，加州大學(xué)的人類學(xué)和數(shù)學(xué)家共同建立了犯罪活動預(yù)測平臺。在不增加警力的情況下，洛杉磯的財產(chǎn)犯案率和盜竊案件分別下降了12%和16%。
中國工程院信息與電子學(xué)部主任、中國計算機(jī)學(xué)會理事長李國杰院士的課題組，提出我國政府開放數(shù)據(jù)的六項原則：
開放原則：政府信息資源以共享為原則，不共享為例外。注意開放與保護(hù)隱私的平衡。
保障安全原則：根據(jù)安全等級確定數(shù)據(jù)共享的范圍。
價值導(dǎo)向原則：開放的政務(wù)數(shù)據(jù)資源應(yīng)具有經(jīng)濟(jì)價值和社會價值，共享的目的是促進(jìn)數(shù)據(jù)資源的利用。
質(zhì)量保障原則：內(nèi)容完整可信，數(shù)據(jù)格式方便使用，內(nèi)容及時更新。
責(zé)權(quán)利統(tǒng)一原則：政務(wù)數(shù)據(jù)擁有部門承擔(dān)數(shù)據(jù)開放的責(zé)任，依法明確可開放數(shù)據(jù)的范圍。用戶對下載后數(shù)據(jù)的使用行為負(fù)責(zé)。
數(shù)字連續(xù)性原則：被開放的政務(wù)數(shù)據(jù)資源應(yīng)維護(hù)其數(shù)字連續(xù)性，可檢索、可呈現(xiàn)、可理解、可被發(fā)現(xiàn)，保證可持續(xù)再用。
在某市《政府信息資源共享管理辦法》中，寫到“行政機(jī)關(guān)未經(jīng)提供信息的行政機(jī)關(guān)同意，不得擅自向社會發(fā)布和公開所獲取的共享信息”。如果是無條件開放的數(shù)據(jù)，為什么不能再公開。對于“無附加條件共享”的政府?dāng)?shù)據(jù)，應(yīng)實行“非限制即共享的原則”。盡管有識之士已經(jīng)意識到大數(shù)據(jù)的競爭力和戰(zhàn)略性，但數(shù)據(jù)財富尚未形成全民意識，我國應(yīng)迎頭趕上“大數(shù)據(jù)”這一時代潮流。
參考文獻(xiàn)：
[1]麥肯錫全球研究所.大數(shù)據(jù)：創(chuàng)新、競爭和提高生產(chǎn)率的下一個新領(lǐng)域[R].美國：麥肯錫咨詢公司，2011
[2]李國杰.大數(shù)據(jù)時代的國家治理體系和治理能力[J]， 大數(shù)據(jù)文摘2014(2)28
[3]涂子沛.大數(shù)據(jù)：正在到來的數(shù)據(jù)革命[M].桂林：廣西師范大學(xué)出版社，2012
看了“大數(shù)據(jù)管理論文”的人還看：
1.大數(shù)據(jù)時代下的人口信息管理及應(yīng)用探析論文
2.基于大數(shù)據(jù)時代下的高校信息管理研究論文