大數(shù)據(jù)云計算技術(shù)精選(五篇)

序言：作為思想的載體和知識的探索者，寫作是一種獨特的藝術(shù)，我們?yōu)槟鷾?zhǔn)備了不同風(fēng)格的5篇大數(shù)據(jù)云計算技術(shù)，期待它們能激發(fā)您的靈感。

篇1

1.1大數(shù)據(jù)的發(fā)展

通過對大數(shù)據(jù)的匯集、智能分析和挖掘技術(shù)，發(fā)現(xiàn)數(shù)據(jù)中的潛在價值信息，幫助人們做出正確決策，這就是大數(shù)據(jù)產(chǎn)業(yè)的利益。國外大數(shù)據(jù)的起步比較早，比較成功的大數(shù)據(jù)應(yīng)用案例有：商業(yè)龍頭沃爾瑪公司通過對消費者的購物數(shù)據(jù)進行分析，了解顧客的行為喜好，對超市的商品結(jié)構(gòu)進行搭配重置以增加銷售額；亞馬遜公司通過大數(shù)據(jù)構(gòu)建自己的推薦系統(tǒng)，每年可以靠此多收益20%；奧巴馬通過大數(shù)據(jù)分析系統(tǒng)進行數(shù)據(jù)挖掘，用科學(xué)的手段獲取選票、募集資金，贏得了總統(tǒng)競選的勝利。相比于國外，國內(nèi)的大數(shù)據(jù)研究和應(yīng)用還處于起步和發(fā)展中的階段，比較成功的案例有：淘寶數(shù)據(jù)魔方平臺，通過大數(shù)據(jù)，為買家量身打造完善的購物體驗產(chǎn)品；新浪微博大數(shù)據(jù)產(chǎn)品，通過大量的社交數(shù)據(jù)，創(chuàng)造不同的社會經(jīng)濟價值等。

1.2云計算的發(fā)展

云計算可以像電力資源一樣提供彈性的按需服務(wù)，事實上它是集合了一系列的服務(wù)提供給用戶。云計算的核心可分為三個層次，分別為基礎(chǔ)設(shè)施層、平臺層、應(yīng)用層，如圖2所示。云計算將基礎(chǔ)設(shè)施、軟件運行環(huán)境、應(yīng)用程序抽象成服務(wù)，具有可靠性高、可用性強、規(guī)模可伸縮等特點，滿足了不同企業(yè)的發(fā)展需求，各個云服務(wù)提供商根據(jù)各自服務(wù)對象的差別分別開發(fā)了各具特色的云服務(wù)。（1）基礎(chǔ)設(shè)施即服務(wù)層基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）層通過部署硬件基礎(chǔ)設(shè)施對外提供服務(wù)，用戶可以根據(jù)各自的需求購買虛擬或?qū)嶓w的計算、存儲、網(wǎng)絡(luò)等資源。用戶可以在購買的空間內(nèi)部署和運行軟件，包括操作系統(tǒng)和應(yīng)用程序。消費者不能管理或控制任何云計算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)的選擇、存儲空間、部署的應(yīng)用，也有可能獲得有限制的網(wǎng)絡(luò)組件（如防火墻、負(fù)載均衡器等）的控制。云服務(wù)提供商為了使硬件資源得到更有效的利用，引入了Xen、KVM、VMware等虛擬化技術(shù)，使得云服務(wù)商可以提供更個性化的IaaS服務(wù)。亞馬遜彈性云計算（AmazonElasticComputeCloud，AmazonEC2）是亞馬遜Web服務(wù)產(chǎn)品之一，AmazonEC2利用其全球性的數(shù)據(jù)中心網(wǎng)絡(luò)，為客戶提供虛擬主機服務(wù)，讓使用者可以租用云服務(wù)運行所需應(yīng)用的系統(tǒng)。（2）平臺即服務(wù)層平臺即服務(wù)（PlatformasaService，PaaS）層是指云計算應(yīng)用程序開發(fā)和部署的平臺，包括應(yīng)用設(shè)計、應(yīng)用開發(fā)、應(yīng)用測試和應(yīng)用托管，都作為一種服務(wù)提供給客戶。開發(fā)者只需要上傳代碼和數(shù)據(jù)就可以使用云服務(wù)，而無需關(guān)注底層的具體實現(xiàn)方式和管理模式。鑒于PaaS平臺的重要意義，國內(nèi)外廠商根據(jù)各自的戰(zhàn)略提出了相應(yīng)的PaaS平臺，國外的如GoogleAppEngine（GAE），通過GAE，即使在重載和數(shù)據(jù)量極大的情況下，也可以輕松構(gòu)建能安全運行的應(yīng)用程序。國內(nèi)也有新浪的SAE（SinaAppEngine）、阿里的ACE（AliyunCloudEnginee）等。（3）軟件即服務(wù)層軟件即服務(wù)（SoftasaService，SaaS）層是為云計算終端用戶提供基于互聯(lián)網(wǎng)軟件應(yīng)用服務(wù)的平臺。隨著Web服務(wù)、HTML5、AJAX、Mashup等技術(shù)的成熟與標(biāo)準(zhǔn)化，SaaS應(yīng)用近年來發(fā)展迅速，典型的SaaS應(yīng)用包括GoogleApps、SalesforceCRM等。國外云計算平臺比較成功的應(yīng)用案例有：亞馬遜電子商務(wù)網(wǎng)站根據(jù)用戶的購買行為和搜索技術(shù)搭建Hadoop集群，構(gòu)建推薦系統(tǒng)；Twitter社交網(wǎng)站搭建Hadoop分布式系統(tǒng)用于用戶關(guān)聯(lián)的建立。國內(nèi)云計算平臺的成功案例有：阿里巴巴目前整個集群達(dá)到1700個節(jié)點，數(shù)據(jù)容量達(dá)到24.3PB，并且以每天255TB的速率不斷攀升；2013年，華為推出國內(nèi)首個運營云平臺，目前為止與該平臺簽訂協(xié)議的ISV有3000多家。

1.3云計算相關(guān)技術(shù)

（1）分布式文件系統(tǒng)分布式文件系統(tǒng)（GoogleFileSystem，GFS）[3]是Google公司針對云計算過程處理海量數(shù)據(jù)而專門設(shè)計的。一個GFS集群由一個主節(jié)點和多個從節(jié)點組成，用戶可以通過客戶端訪問文件系統(tǒng)，進行正常的文件處理工作。在云計算中，海量數(shù)據(jù)文件被分割成多個固定大小的數(shù)據(jù)塊，這些數(shù)據(jù)塊被自動分配到不同的從節(jié)點存儲，并會在多個節(jié)點進行備份存儲，以免數(shù)據(jù)丟失。主服務(wù)器管理文件系統(tǒng)記錄文件的各種屬性，包括文件名、訪問控制權(quán)限、文件存儲塊映射、塊物理信息等數(shù)據(jù)。正是通過這個表，文件系統(tǒng)可以準(zhǔn)確地找到文件存儲的位置，避免數(shù)據(jù)丟失，保證數(shù)據(jù)安全。圖3是GFS的體系結(jié)構(gòu)示意，每一個節(jié)點都是普通的Linux服務(wù)器，GFS的工作就是協(xié)調(diào)成百上千的服務(wù)器為各種應(yīng)用提供服務(wù)。（2）分布式并行數(shù)據(jù)庫BigTableBigTable[4]是一個為管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計的分布式存儲系統(tǒng)，可以擴展到PB級數(shù)據(jù)和上千臺服務(wù)器。很多Google的項目使用BigTable存儲數(shù)據(jù)，這些應(yīng)用對BigTable提出了不同的挑戰(zhàn)，比如對數(shù)據(jù)規(guī)模的要求、對時延的要求。BigTable能滿足這些多變的要求，為這些產(chǎn)品成功地提供了靈活、高性能的存儲解決方案。BigTable采用的鍵是三維的，分別是行鍵（RowKey）、列鍵（ColumnKey）和時間戳（Timestamp）。行鍵和列鍵都是字節(jié)串，時間戳是64位整型；值是一個字節(jié)串，可以用（row:string,column:string,time:int64）string來表示一條鍵值對記錄。（3）分布式計算框架MapReduceMapReduce[5]是Google公司提出的大數(shù)據(jù)技術(shù)計算框架，被廣泛應(yīng)用于數(shù)據(jù)挖掘、海量數(shù)據(jù)處理以及機器學(xué)習(xí)等領(lǐng)域，由于其并行化處理數(shù)據(jù)的強大能力，越來越多的廠商根據(jù)MapReduce思想開發(fā)了各自的云計算平臺，其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個階段組成。用戶只需要編寫簡單的map()和reduce()函數(shù)就可以完成復(fù)雜分布式程序設(shè)計，而不用了解計算框架的底層實現(xiàn)。MapReduce的數(shù)據(jù)分析流程如圖4所示。分布在不同服務(wù)器節(jié)點上的海量數(shù)據(jù)首先通過split()函數(shù)被拆分成Key/Value鍵值對，map()函數(shù)以該鍵值對為輸入，將該鍵值對進行函數(shù)處理，產(chǎn)生一系列的中間結(jié)果并存入磁盤。MapReduce的中間過程shuffle()將所有具有相同Key值的鍵值對傳遞給Reduce環(huán)節(jié)，Reduce會收集中間結(jié)果，并將相同的Value值合并，完成所有工作后將結(jié)果輸出給用戶。MapReduce是一個并行的計算框架，主要體現(xiàn)在不同的服務(wù)器節(jié)點同時啟動相同的工作，并且在每個獨立的服務(wù)器節(jié)點上又可以啟動多個map()、reduce()并行計算。

2基于云計算的大數(shù)據(jù)處理

目前大數(shù)據(jù)處理的基本流程如圖5所示，整個流程經(jīng)過數(shù)據(jù)源的采集，用不同的方式進行處理和加工，形成標(biāo)準(zhǔn)的格式，存儲下來；然后用合適的數(shù)據(jù)計算處理方式將數(shù)據(jù)推送到數(shù)據(jù)分析和挖掘平臺，通過有效的數(shù)據(jù)分析和挖掘手段，找出大數(shù)據(jù)中有價值的信息；最后通過可視化技術(shù)將信息展現(xiàn)給人們。

2.1數(shù)據(jù)采集存儲

大數(shù)據(jù)具有不同結(jié)構(gòu)的數(shù)據(jù)（包括結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)），針對不同類型的數(shù)據(jù)，在進行云計算的分布采集時，需要選擇不同的數(shù)據(jù)采集方式收集數(shù)據(jù)，這也是大數(shù)據(jù)處理中最基礎(chǔ)的一步。采集到的數(shù)據(jù)并不是都適合推送到后面的平臺，需要對其進一步處理，例如來源不同的數(shù)據(jù)，需要對其進行加載合并；數(shù)據(jù)存在噪聲或者干擾點的，需要對其進行“清洗”和“去噪”等操作，從而保障數(shù)據(jù)的有效性；數(shù)據(jù)的格式或者量綱不統(tǒng)一的，需要對其進行標(biāo)準(zhǔn)化等轉(zhuǎn)換處理；最后處理生成的數(shù)據(jù)，通過特定的數(shù)據(jù)庫，如NoSQL數(shù)據(jù)（Google的BigTable，Amazon的Dynamo）進行存儲，方便進行下一步的數(shù)據(jù)讀取。由于傳統(tǒng)的數(shù)據(jù)倉庫無法適應(yīng)大數(shù)據(jù)的存儲要求，目前基于云計算的數(shù)據(jù)倉庫都是采用列式存儲。列式存儲的數(shù)據(jù)具有相同的數(shù)據(jù)類型，可以大大提高數(shù)據(jù)的壓縮率，例如華為的云存儲服務(wù)MOS（MassiveObjectService）的數(shù)據(jù)持久性高達(dá)99.9%，同時提供高效率的端到端保障。

2.2數(shù)據(jù)計算模式

這一環(huán)節(jié)需要根據(jù)處理的數(shù)據(jù)類型和既定目標(biāo)，選擇合適的計算模型處理數(shù)據(jù)。由于數(shù)據(jù)量的龐大，會消耗大量的計算資源，因此，傳統(tǒng)的計算技術(shù)很難使用大數(shù)據(jù)的環(huán)境條件，取而代之的是分而治之的分布式計算模式，具有代表性的幾種計算模式的特點見表1。采用批處理方式計算的Hadoop平臺，例如，F(xiàn)acebook擁有全球最大規(guī)模的Hadoop集群，集群機器目前超過3000臺，CPU核心更是超過30000個，可以存儲的數(shù)據(jù)量能夠達(dá)到驚人的40PB；采用流處理方式計算的Storm平臺分布式計算的時延比Hadoop更?。粚崟r處理方式計算的Spark是一種基于內(nèi)存的計算模式，例如，Yahoo運用Spark技術(shù)在廣告營銷中實時尋找目標(biāo)用戶，目前在Yahoo部署的Spark集群有112臺節(jié)點和9.2TB內(nèi)存；交互處理方式計算的Dremel在處理PB級別的數(shù)據(jù)時耗時可以縮短至秒級，并且無需大量的并發(fā)。

2.3數(shù)據(jù)分析挖掘

數(shù)據(jù)分析挖掘環(huán)節(jié)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱藏規(guī)律和有價值信息的過程，這個環(huán)節(jié)是大數(shù)據(jù)處理流程最為有價值和核心的部分，傳統(tǒng)的數(shù)據(jù)分析方法有機器學(xué)習(xí)、商業(yè)智能等。傳統(tǒng)的數(shù)據(jù)挖掘十大算法[6]（其中有K-Means、Na觙veBayes、SVM、EM、Apriori等）在云計算環(huán)境下都得到了大幅度的并行優(yōu)化，在大數(shù)據(jù)的背景下，計算速度得到了很大程度的提升?，F(xiàn)在新興的深度學(xué)習(xí)是原始機器學(xué)習(xí)的一個新領(lǐng)域，動機是在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，這種新的數(shù)據(jù)分析挖掘技術(shù)已經(jīng)在計算機視覺、語音識別、自然語言處理等領(lǐng)域有了成功的應(yīng)用。

2.4數(shù)據(jù)解釋展現(xiàn)

將挖掘出來的復(fù)雜信息進行數(shù)據(jù)解釋和展現(xiàn)是整個大數(shù)據(jù)處理流程的最后一個環(huán)節(jié)，數(shù)據(jù)分析的結(jié)果需要向客戶進行恰當(dāng)?shù)恼宫F(xiàn)。與傳統(tǒng)的數(shù)據(jù)輸出和文本展示等方式不同，現(xiàn)在絕大部分的企業(yè)都通過引進“數(shù)據(jù)可視化”技術(shù)來展示大數(shù)據(jù)分析的結(jié)果信息，這種方式以圖像、動畫等方式，形象地向客戶展現(xiàn)數(shù)據(jù)處理分析的結(jié)果，也容易被客戶理解和接受，更為先進的是，現(xiàn)在逐步形成的“交互式可視化技術(shù)”，大大地方便了數(shù)據(jù)與人之間的“親密交流”。目前面向大數(shù)據(jù)主流應(yīng)用的可視化技術(shù)見表2。

3大數(shù)據(jù)和云計算的未來挑戰(zhàn)

大數(shù)據(jù)需要超大存儲容量的計算能力，云計算作為一種新的計算模式，為大數(shù)據(jù)的應(yīng)用研究提供了技術(shù)支持，大數(shù)據(jù)和云計算的完美結(jié)合，相得益彰，發(fā)揮了各自的最大優(yōu)勢，為社會創(chuàng)造了巨大的價值。雖然國內(nèi)大數(shù)據(jù)和云計算的研究還是處于初步階段，但隨著研究的不斷進行，所面臨的問題也越來越多。在大數(shù)據(jù)向前不斷邁進的階段里，如何讓我們對大數(shù)據(jù)的研究朝著有利于全人類的方向發(fā)展成為了重中之重。

3.1重要戰(zhàn)略資源

在這個信息社會里，大數(shù)據(jù)將會成為眾多企業(yè)甚至是國家層面的重要戰(zhàn)略資源。國家層面要將大數(shù)據(jù)上升為國家戰(zhàn)略。奧巴馬在2012年3月將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策，像陸權(quán)、海權(quán)、空權(quán)一樣，將數(shù)據(jù)的占有和控制作為重要的國家核心能力。大數(shù)據(jù)資源也會成為各種機構(gòu)和企業(yè)的重要資產(chǎn)以及提升企業(yè)社會競爭力的有力武器。在大數(shù)據(jù)市場里，客戶的各種數(shù)據(jù)信息都會為企業(yè)創(chuàng)造價值，也會在促進消費水平、提高廣告效應(yīng)等方面扮演重要的角色。

3.2數(shù)據(jù)隱私安全

大數(shù)據(jù)如果運用得當(dāng)，可以有效地幫助相關(guān)領(lǐng)域做出幫助和決策，但若這些數(shù)據(jù)被泄露和竊取，隨之而來的將是個人信息及財產(chǎn)的安全問題得不到保障。2011年索尼公司遭到黑客攻擊，造成一億份客戶資料泄露，經(jīng)濟虧損約1.71億美元。為了解決大數(shù)據(jù)的數(shù)據(jù)隱私安全問題，Roy等在2010年提出了一種隱私保護系統(tǒng)，將信息流控制和差分隱私保護技術(shù)融入到云計算平臺中，防止MapReduce計算過程中的數(shù)據(jù)泄露問題。在數(shù)據(jù)更新飛速的情況下，如何維護數(shù)據(jù)的隱私安全成為大數(shù)據(jù)時代研究的重點方向。

3.3智慧城市

人口的增長給城市交通、醫(yī)療、建筑等各方面帶來了不小的壓力，智慧城市就是依靠大數(shù)據(jù)和云計算技術(shù)，實現(xiàn)城市高效的管理、便捷的民生服務(wù)、可持續(xù)的產(chǎn)業(yè)發(fā)展。在剛剛結(jié)束的“兩會”的政府工作報告中，總理也特意強調(diào)了智慧城市發(fā)展的重要性，目前國家智慧城市試點已遍布全國各地，多達(dá)409個。智慧安防、智慧交通、智慧醫(yī)療等都是智慧城市應(yīng)用領(lǐng)域。智慧城市的建設(shè)也趨使大數(shù)據(jù)人才的培養(yǎng)。據(jù)預(yù)測，到2015年，大數(shù)據(jù)將會出現(xiàn)約100萬的人才缺口，全球?qū)⑿略?40萬個與大數(shù)據(jù)相關(guān)的工作崗位來填補這個空缺。

3.4能源消耗

篇2

【關(guān)鍵詞】云計算;云儲存;數(shù)據(jù)完整性;數(shù)據(jù)隱私

1.前言

云計算和云儲存的不斷成熟、發(fā)展為大數(shù)據(jù)儲存及處理提供了技術(shù)支持，可以使更多用戶在不同終端上實現(xiàn)對各類數(shù)據(jù)的操作，但是數(shù)據(jù)安全問題一直是大數(shù)據(jù)云儲存中的一個突出問題，很多用戶在使用云儲存過程中都出現(xiàn)竊取、丟失等現(xiàn)象，這類數(shù)據(jù)安全問題出現(xiàn)后會給企業(yè)和用戶帶來不同程度的經(jīng)濟損失。日益凸顯的云計算安全問題不僅已成為云服務(wù)用戶共同關(guān)注的問題，同時也在很大程度上對大數(shù)據(jù)儲存帶來了威脅，本文針對云計算和大數(shù)據(jù)的特點對數(shù)據(jù)儲存的完整性、隱私性進行分析，通過研究和總結(jié)國內(nèi)外最新研究成果來保證大數(shù)據(jù)儲存安全。

2.大數(shù)據(jù)儲存的云端安全接入技術(shù)

傳統(tǒng)的計算機數(shù)據(jù)關(guān)系中數(shù)據(jù)擁有者擔(dān)任著數(shù)據(jù)提供者的角色，用戶只需要提交有效的賬戶名和密碼便可以對數(shù)據(jù)進行訪問，并可以根據(jù)用戶自身權(quán)限進行相關(guān)操作，但是在云計算中數(shù)據(jù)擁有者和云服務(wù)提供者是兩個不同的角色，云服務(wù)提供者一般都是以商業(yè)機構(gòu)為主，而這些商業(yè)機構(gòu)在實際上是處于用戶信任區(qū)域以外，因此，傳統(tǒng)認(rèn)證方式已無法滿足用戶對云存儲安全接入的實際需求，云儲存在實際使用中的接入需要采用額外的檢驗機制，這樣才能確保云端安全接入技術(shù)可以滿足大數(shù)據(jù)儲存的安全要求。圖1是一種可靠性較高的云端安全接入模型，用戶需要使用數(shù)據(jù)時需要向數(shù)據(jù)擁有者提交一個使用請求，在數(shù)據(jù)擁有者實時頒發(fā)的密鑰、證書后便可以接入到云端，該種云端安全接入模型在實際應(yīng)用中相對較為安全、可靠，但是只有數(shù)據(jù)擁有者處于在線的狀態(tài)才能為用戶提供數(shù)據(jù)服務(wù)，一旦網(wǎng)絡(luò)用戶在實際使用中的網(wǎng)絡(luò)通信受到任何因素限制，則該安全接入模型無法滿足用戶對大數(shù)據(jù)儲存安全的要求。

圖1 一種可靠性較高的云端安全接入模型

研究表明，云儲存接入的安全性主要受到數(shù)據(jù)擁有者，根據(jù)用戶的實時需求進行驗證、反饋等方式有著直接影響，數(shù)據(jù)擁有者如果保持在線狀態(tài)就可以確保云計算的安全接入，但是由于受到用戶對數(shù)據(jù)需求量不斷增加的影響，大量分配、更新密鑰等操作會給數(shù)據(jù)擁有者戶端帶來很大負(fù)擔(dān)，一旦數(shù)據(jù)擁有者主機通信受到限制，則其便無法滿足用戶對共享數(shù)據(jù)的訪問、使用要求。基于第三方云服務(wù)器的接入技術(shù)可以有效降低主機負(fù)擔(dān)，并且通過運用重加密技術(shù)可以避免數(shù)據(jù)泄漏，但是該種接入技術(shù)在實際應(yīng)用中的靈活性、實時性還有待提高，短期內(nèi)無法滿足大量新用戶的接入及使用要求，這也為大數(shù)據(jù)儲存的云端接入技術(shù)指明了一條方向。數(shù)據(jù)擁有者在選擇云端接入技術(shù)與控制方法過程中，應(yīng)根據(jù)數(shù)據(jù)私密等級、用戶管理模式進行選擇，確保每一個用戶都可以安全接入到云端的同時，可以實現(xiàn)優(yōu)化網(wǎng)絡(luò)效率這一目的。

3.大數(shù)據(jù)儲存的數(shù)據(jù)加密技術(shù)

數(shù)據(jù)在上傳到云端后可能由于受到服務(wù)器故障的影響，導(dǎo)致發(fā)生數(shù)據(jù)泄漏的可能性，云平臺在被非法接入后可能出現(xiàn)數(shù)據(jù)被竊取、篡改以及偽造等事件，所以儲存在云端的數(shù)據(jù)需要通過加密技術(shù)對其進行加密處理，經(jīng)過數(shù)據(jù)擁有者拆分、加密后才能上傳到云計算平臺，用戶根據(jù)自身需求將數(shù)據(jù)下載后需要對其進行解密處理，即使數(shù)據(jù)在使用、儲存、傳輸過程中出現(xiàn)丟失、被竊等事件，也因數(shù)據(jù)經(jīng)過事先加密而不會發(fā)生私密信息泄露的事件。現(xiàn)階段云計算中所使用的主流數(shù)據(jù)加密技術(shù)以屬性加密和加密為主，基于密鑰（KP-ABE）和基于密文的屬性加密（CP-ABE），這兩種數(shù)據(jù)加密策略在實際應(yīng)用中具有各不相同的特點，圖2是一種基于重加密技術(shù)（PRE）的云計算數(shù)據(jù)加密模型，該種云計算數(shù)據(jù)加密模型通過部署人來提高數(shù)據(jù)安全性，由于云平臺在實際運用中扮演的角色為半可信人，將PRE架構(gòu)移植到云計算中可以塑造出一套安全性較高的加密方案。B用戶如果需要共享A用戶經(jīng)過加密處理后上傳到云端的數(shù)據(jù)，A根據(jù)用戶信息和B的公鑰來產(chǎn)生一個具有“過渡”作用的密鑰，而該密鑰在實際使用中只具有密文與密文間相互進行轉(zhuǎn)換的功能，可以將A用戶提供的密文轉(zhuǎn)換為針對B用戶的密文，B用戶下載該密文后便可以對A用戶共享的數(shù)據(jù)進行相應(yīng)操作。

圖2 基于PRE的云計算數(shù)據(jù)加密模型

數(shù)據(jù)安全是實現(xiàn)大數(shù)據(jù)云儲存安全的核心內(nèi)容，因此，大數(shù)據(jù)儲存過程中必須選擇有效的加密技術(shù)，這對提高大數(shù)據(jù)儲存安全體系的整體性能有著重要作用，通過采用科學(xué)、合理的加密方法不僅可以確保大數(shù)據(jù)儲存過程中的機密性，對幫助云計算及用戶實現(xiàn)網(wǎng)絡(luò)資源分配最優(yōu)化也有著重要意義。

4.大數(shù)據(jù)完整性校驗技術(shù)

數(shù)據(jù)完整性是指數(shù)據(jù)在儲存、傳輸以及使用等諸多環(huán)節(jié)，數(shù)據(jù)不會發(fā)生被篡改事件，確保數(shù)據(jù)信息內(nèi)部和外部在各環(huán)節(jié)中的一致性，而大數(shù)據(jù)存儲在云端容易被非法篡改，這便會導(dǎo)致大數(shù)據(jù)存儲過程中的完整性被嚴(yán)重破壞，因此，對存儲在云端的大數(shù)據(jù)完整性進行校驗有著重要意義。圖3提出了一種基于“可取回性證明”（POR）的大數(shù)據(jù)完整性校驗?zāi)Ｐ停摲桨冈趯嶋H設(shè)計中采用了挑戰(zhàn)―應(yīng)答模式，驗證者在對大數(shù)據(jù)進行糾錯編碼的同時要在文件隨機位置插入“哨兵”，這些哨兵主要是由帶密鑰的哈希函數(shù)根據(jù)驗證的實際需求生成的，每次挑戰(zhàn)時證明者為了反饋驗證者的要求，會自動返回一定數(shù)目的哨兵，通過哨兵返回數(shù)目的完整性對文件進行檢測。該大數(shù)據(jù)完整性校驗?zāi)Ｐ驮趯嶋H應(yīng)用中不需要對所有數(shù)據(jù)進行復(fù)制，而且存放哨兵的額外存儲量也相對較少，主機不需要對挑戰(zhàn)―應(yīng)答模式提供過大的計算量，所以其整體性能完全可以滿足大數(shù)據(jù)存儲安全要求。以可信第三方代替用戶進行大數(shù)據(jù)可取回性檢查，并根據(jù)用戶數(shù)據(jù)的損害情況來執(zhí)行數(shù)據(jù)恢復(fù)，這種基于輕量級數(shù)據(jù)可取回性證明算法“L-POR”可以通過冗余數(shù)據(jù)來加入到用戶認(rèn)證信息中，避免了其他同類算法在大數(shù)據(jù)完整性校驗中產(chǎn)生的大量存儲開銷。

圖3 一種基于POR的大數(shù)據(jù)完整性校驗?zāi)Ｐ?/p>

5.結(jié)語

云計算和大數(shù)據(jù)儲存中其安全性不僅會對云計算技術(shù)的發(fā)展有著直接影響，更關(guān)系到每一個云計算用戶在使用中的隱私和利益，所以要通過加強接入控制技術(shù)、數(shù)據(jù)加密技術(shù)以及大數(shù)據(jù)完整性校驗檢測技術(shù)等方面，來確保大數(shù)據(jù)存儲的安全工作可以滿足各類用戶的實際需求。

參考文獻(xiàn)

篇3

云計算技術(shù)具有高效、可靠、高可擴展性和易用性的特征，被很多領(lǐng)域廣泛的使用。本文討論的內(nèi)容是如何將云計算技術(shù)應(yīng)用到就業(yè)大數(shù)據(jù)信息服務(wù)平臺中，從而高效率、高質(zhì)量的做好就業(yè)服務(wù)工作。

Hadoop是由 Apache 開源組織提供的分布式系統(tǒng)基礎(chǔ)框架，能夠有效的解決海量數(shù)據(jù)分布存儲和分布計算，是云計算技術(shù)應(yīng)用層面很好的解決方案。

一、高校就業(yè)大數(shù)據(jù)信息系統(tǒng)現(xiàn)狀

目前，各高校均建設(shè)了高校內(nèi)部的畢業(yè)生就業(yè)大數(shù)據(jù)信息平臺，一定程度上滿足了畢業(yè)生就業(yè)服務(wù)的需要。但是這些系統(tǒng)存在以下幾方面問題：第一，系統(tǒng)側(cè)重畢業(yè)生和就業(yè)信息管理，或者只是學(xué)生管理信息系統(tǒng)的一部分，缺乏服務(wù)機制，無法實現(xiàn)學(xué)生、教師和用人單位的聯(lián)動。第二，系統(tǒng)資源利用率低，系統(tǒng)運行效率低、安全可靠性和可擴展性差，給學(xué)生數(shù)據(jù)安全帶來很大的隱患。第三，系統(tǒng)數(shù)據(jù)利用率低，多數(shù)集中在簡單的查詢，很難獲得有益的知識，提供決策服務(wù)。第四，系統(tǒng)缺乏個性化定制，很難適應(yīng)當(dāng)前就業(yè)工作不斷調(diào)整的需要。

隨著高校、畢業(yè)生和企業(yè)對就業(yè)服務(wù)的要求提高，現(xiàn)有的就業(yè)信息平臺已經(jīng)不能適應(yīng)就業(yè)工作多元化的增長和發(fā)展的需要，影響高校畢業(yè)生的就業(yè)效果，新型的就業(yè)大數(shù)據(jù)信息平臺的建設(shè)已成為破解就業(yè)工作難題的必要條件之一。

二、構(gòu)建基于云計算的高校就業(yè)大數(shù)據(jù)信息服務(wù)平臺

云計算因其強大的計算和數(shù)據(jù)儲存的能力、可靠、安全的共享數(shù)據(jù)存儲中心、客戶端的設(shè)備配置沒有限制等特點已廣泛應(yīng)用各行各業(yè)，并日益發(fā)展成熟。通過云計算技術(shù)建設(shè)畢業(yè)生就業(yè)信息平臺，整合和共享就業(yè)信息資源，為畢業(yè)生就業(yè)提供方便、快捷、高效的信息服務(wù)平臺，破解現(xiàn)有就業(yè)信息平臺存在的問題。

從研究現(xiàn)狀來看，云計算具有以下一特點：

一是強大的計算和數(shù)據(jù)儲存的能力?！霸啤蹦苜x予用戶完成各類應(yīng)用前所未有的計算能力，為用戶儲存和管理數(shù)據(jù)提供幾乎無限多的空間。服務(wù)器的日常維護也有云服務(wù)提供商來進行。

二是最可靠、最安全的共享數(shù)據(jù)存儲中心。通過云存儲，數(shù)據(jù)復(fù)制到多臺物理機器，避免因硬件崩潰或誤操作刪除的造成的數(shù)據(jù)的丟失或損壞。

三是客戶端的設(shè)備配置沒有限制。用戶在隨時隨地方便、快捷、安全的使用位于不同計算機、不同的操作系統(tǒng)的應(yīng)用服務(wù)，從“云”中獲取個人的需求。

2.1 構(gòu)建高校就業(yè)云服務(wù)平臺

根據(jù)提供服務(wù)資源的類型，云服務(wù)被分為三個類別：SaaS（軟件即服務(wù)）、PaaS（平臺即服務(wù)）、IaaS（基礎(chǔ)設(shè)施即服務(wù)）。

高校就業(yè)大數(shù)據(jù)信息云服務(wù)平臺采用 SaaS 模式，通過瀏覽器和移動終端將軟件作為云服務(wù)提供給所需用戶。用戶無需購買軟件和維護軟件，用戶根據(jù)業(yè)務(wù)需求購買相應(yīng)的云服務(wù)，云服務(wù)提供商管理相關(guān)軟件并實施軟件的維護。這種方式大大降低用戶在軟件購買和維護上人力和物力的開支。高校就業(yè)信息云服務(wù)平臺自底向上分別是“云數(shù)據(jù)層”、“數(shù)據(jù)服務(wù)層”、“業(yè)務(wù)服務(wù)層”、“云服務(wù)層”和“應(yīng)用層”，每層之間采用松耦合，提供相互訪問的接口，用戶不必關(guān)注層內(nèi)部邏輯。

（1） 數(shù)據(jù)存儲層

高校信息服務(wù)平臺的數(shù)據(jù)主要包含學(xué)生數(shù)據(jù)、用人單位數(shù)據(jù)和高校相關(guān)數(shù)據(jù)，數(shù)據(jù)是作為平臺的基礎(chǔ)。為了提供便捷、高效、可靠的數(shù)據(jù)訪問，數(shù)據(jù)存儲層采用云存儲技術(shù)實現(xiàn)。

（2） 數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層建立專門進行云數(shù)據(jù)層訪問的接口程序，用戶通過 webservice 或者 API 進行加密數(shù)據(jù)的訪問，數(shù)據(jù)的具體存儲對用戶是透明的，這也有效的提高數(shù)據(jù)安全性，并且為數(shù)據(jù)的擴展提供基礎(chǔ)。

（3） 業(yè)務(wù)管理層

業(yè)務(wù)服務(wù)層包括高校信息服務(wù)平臺所有業(yè)務(wù)，具體包括應(yīng)聘招聘、就業(yè)指導(dǎo)、畢業(yè)生困難幫扶、創(chuàng)業(yè)等服務(wù)內(nèi)容，這些業(yè)務(wù)服務(wù)于政府、用人單位、高校、學(xué)生和社會等不用的用戶。由于就業(yè)工作隨著時間的推移會受到就業(yè)形勢、政策等很多因素影響，從而導(dǎo)致就業(yè)工作業(yè)務(wù)和用戶發(fā)生不斷變化，所以就業(yè)信息服務(wù)平臺業(yè)務(wù)服務(wù)層要具備高擴展性。基于以上的要求，我們構(gòu)建了業(yè)務(wù)服務(wù)控制臺，業(yè)務(wù)服務(wù)被設(shè)計為可插拔式，每項業(yè)務(wù)可以被掛載在控制臺，或者從控制臺被卸載，也可以設(shè)定業(yè)務(wù)接口、執(zhí)行業(yè)務(wù)升級操作等服務(wù)。

（4） 云服務(wù)層

云服務(wù)層將業(yè)務(wù)服務(wù)層的內(nèi)容以應(yīng)用接口的方式提供給應(yīng)用層，提供的方式是為業(yè)務(wù)服務(wù)層建立 API 接口和webservice 接口。應(yīng)用層可以通過編程的方式調(diào)用業(yè)務(wù)接口，實現(xiàn)業(yè)務(wù)訪問。

設(shè)定中文信息處理和語音識別接口，用戶可以通過輸入中文關(guān)鍵字或者語音調(diào)用業(yè)務(wù)，在應(yīng)用層和業(yè)務(wù)層之間建立更加友好的數(shù)據(jù)傳送，也為移動終端用戶提供更加便捷的操作方式。

（5） 應(yīng)用層

應(yīng)用層直接面向?qū)嶋H用戶，實現(xiàn)就業(yè)信息云服務(wù)平臺不同類型的用戶圖形界面，從而能夠適應(yīng)不同用戶的不同需求。用戶既可以通過個人電腦上的瀏覽器訪問獲得云服務(wù)、也可以使用智能移動終端的應(yīng)用程序或者微問云服務(wù)。

2.2 建立基于 Hadoop 的云數(shù)據(jù)存儲

高校就業(yè)大數(shù)據(jù)信息服務(wù)平臺需要大量的數(shù)據(jù)進行支持，而且數(shù)據(jù)逐年增加。利用云存儲技術(shù)主要解決快速、高效的處理海量數(shù)據(jù)，從而達(dá)到易擴展、低成本、易管理、高效和安全的設(shè)計原則。 Hadoop 軟件框架的HDFS（分布式文件系統(tǒng)）提供了具備高擴展性、高容錯性、高可靠性、高效等特點，并且可以部署在低廉的硬件上，從而降低成本?；谝陨蟽?nèi)容，高校就業(yè)服務(wù)平臺的數(shù)據(jù)存儲通過 HDFS 分布式存儲技術(shù)實現(xiàn)云存儲，Hadoop 的具體部署

2.3 建立基于 Hadoop 的數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)是就業(yè)大數(shù)據(jù)信息云服務(wù)平臺重要的業(yè)務(wù)，用戶需要了解學(xué)生年齡、學(xué)歷等數(shù)據(jù)分布，需要了解就業(yè)數(shù)據(jù)分布，需要了解用人單位人才需求分布，需要了解就業(yè)數(shù)據(jù)內(nèi)部和外部存在的各種聯(lián)系。數(shù)據(jù)服務(wù)從海量數(shù)據(jù)的計算中獲得，利用云計算技術(shù)能夠高效、低成本的解決計算問題，Hadoop 為云計算提供了有效的解決方案，它提供了MapReduce 模型，這個模型解決了傳統(tǒng)并行計算在易編程性上的瓶頸，程序員可以更容易的開發(fā)分布式并行計算程序。MapReduce 同 HDFS 一樣采用一個主控節(jié)點和多個計算節(jié)點的架構(gòu)。

將大規(guī)模數(shù)據(jù)集分成多個小數(shù)據(jù)集，然后這些數(shù)據(jù)集分o多個 map 節(jié)點進行并行處理產(chǎn)生中間結(jié)果，最后在 reduce階段對這些結(jié)果匯總，得到最終結(jié)果。

篇4

關(guān)鍵詞：大數(shù)據(jù)；移動云計算；云計算；信息

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）34-0003-02

隨著互聯(lián)網(wǎng)的快速發(fā)展，人們逐步感受到了“信息大爆炸”，特別是各種移動通訊和物聯(lián)網(wǎng)的發(fā)展，數(shù)以億計的網(wǎng)絡(luò)用戶隨時產(chǎn)生數(shù)據(jù)。目前全球的數(shù)據(jù)總量達(dá)到了ZB規(guī)模，大數(shù)據(jù)成為人們關(guān)注的熱點話題，生活中的很多方面都可以和大數(shù)據(jù)技術(shù)進行結(jié)合，通過大數(shù)據(jù)技術(shù)來為我們服務(wù)。

大數(shù)據(jù)技術(shù)雖然給我們的生活帶來了巨大的改變，但是大數(shù)據(jù)技術(shù)要求計算機具有相應(yīng)的大數(shù)據(jù)處理能力，為此，云計算的概念產(chǎn)生了。云計算是分布式計算、網(wǎng)絡(luò)存儲、負(fù)載均衡等相關(guān)技術(shù)發(fā)展融合的產(chǎn)物。云計算通過網(wǎng)絡(luò)將龐大的計算機處理任務(wù)進行分解，把分解后的較小的計算任務(wù)交給眾多的網(wǎng)絡(luò)數(shù)據(jù)計算服務(wù)器，經(jīng)過網(wǎng)絡(luò)服務(wù)器的分析處理之后把結(jié)果重新傳回給用戶。移動云計算是指通過移動互聯(lián)網(wǎng)以按需、易擴展的方式獲得所需的基礎(chǔ)設(shè)施、平臺、軟件或應(yīng)用等的一種IT資源或信息服務(wù)的交付與使用模式。[1]

1 大數(shù)據(jù)技術(shù)

現(xiàn)今的世界是一個數(shù)據(jù)的世界，我們身邊到處都充滿著數(shù)據(jù)，比如打電話的語音數(shù)據(jù)、發(fā)短信的文字?jǐn)?shù)據(jù)、微信的聊天數(shù)據(jù)、報紙、雜志、網(wǎng)絡(luò)購物等等。這么多的數(shù)據(jù)實時地影響了我們的工作、生活、學(xué)習(xí)，甚至社會的發(fā)展。根據(jù)維基百科的定義，大數(shù)據(jù)（Big Data）是用于數(shù)據(jù)集的一個術(shù)語，是指大小超出了常用的軟件工具在運行時間內(nèi)可以承受的收集、管理和處理數(shù)據(jù)能力的數(shù)據(jù)集。[2]美國IBM公司定義了大數(shù)據(jù)的3V特點，即規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）。規(guī)模性表示大數(shù)據(jù)涉及的數(shù)據(jù)量巨大，一方面人們的生活中產(chǎn)生了很多的具體數(shù)據(jù)，另一方面是互聯(lián)網(wǎng)通信中移動通信的虛擬數(shù)據(jù)，這些數(shù)據(jù)的數(shù)據(jù)量是非常巨大的。多樣性表示大數(shù)據(jù)中數(shù)據(jù)類型的復(fù)雜多樣，其中包括最常見的文本數(shù)據(jù)、圖像數(shù)據(jù)、語音數(shù)據(jù)和視頻數(shù)據(jù)，除此之外還有很多其他的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。高速性表示大數(shù)據(jù)技術(shù)必須具有實時性，比如實時路況導(dǎo)航、全球股價波動、一些通信業(yè)務(wù)的處理等等。

大數(shù)據(jù)技術(shù)的發(fā)展越來越成熟，大數(shù)據(jù)的價值也越來越受到人們的關(guān)注，對于數(shù)據(jù)處理的實時性和有效性要求越來越高。大數(shù)據(jù)在公共服務(wù)、商業(yè)智能、科學(xué)研究等領(lǐng)域發(fā)揮著巨大的作用，影響力越來越大，大數(shù)據(jù)技術(shù)的使用一定會給我們帶來巨大的價值。社會中的各行各業(yè)可以通過大數(shù)據(jù)技術(shù)來完成各項工作，比如大數(shù)據(jù)在汽車制造業(yè)中的應(yīng)用，福特汽車的產(chǎn)品開發(fā)團隊曾經(jīng)就對汽車行李箱的打開形式進行研究。車后行李箱的打開有兩種形式手動式和電動式，如果采用電動式，能自動打開、便捷智能，但是這種方式會影響到車門開啟有限的困擾。此前采用定期調(diào)查的形式并沒有發(fā)現(xiàn)這個問題，但后來對社交媒體的關(guān)注和分析，發(fā)現(xiàn)很多用戶在談?wù)撨@個問題，這對福特汽車以后的產(chǎn)品設(shè)計是非常有幫助的。

數(shù)據(jù)分析是大數(shù)據(jù)技術(shù)的核心，通過對相關(guān)數(shù)據(jù)的分析產(chǎn)生有價值的信息是大數(shù)據(jù)技術(shù)的關(guān)鍵。通過對數(shù)據(jù)的分析，可以產(chǎn)生有價值的規(guī)律和結(jié)果并輔助人們進行更為合理的決策。在大數(shù)據(jù)分析方面除了傳統(tǒng)的技術(shù)外，人工智能技術(shù)鄰域的很多方法被用得越來越多，包括統(tǒng)計分析、機器學(xué)習(xí)、數(shù)據(jù)挖掘等。數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的，但又是潛在有用信息和知識的過程。統(tǒng)計分析就是基于數(shù)學(xué)鄰域的統(tǒng)計學(xué)原理，對數(shù)據(jù)進行收集、組織和解釋的科學(xué)。機器學(xué)習(xí)作為人工智能鄰域的重要內(nèi)容，分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩大類。[3]常見的方法包括聚類算法、預(yù)測算法、回歸算法、樸素貝葉斯算法、支持向量機算法等。這些算法往往需要較大的計算資源和較強的計算能力，云計算正好滿足了大數(shù)據(jù)技術(shù)在這個方面的需求。

2 移動云計算技術(shù)

云計算已經(jīng)發(fā)展成為IT行業(yè)的一個熱門技術(shù)，目前的主要云計算設(shè)備和服務(wù)都是針對PC機而言的，但是隨著無線路由的快速普及以及無線終端設(shè)備的大量出現(xiàn)，將云計算運用于移動環(huán)境是必然的發(fā)展趨勢。根據(jù)相關(guān)的數(shù)據(jù)統(tǒng)計，全國的移動電話用戶累計達(dá)到10億以上，現(xiàn)有的終端計算能力、存儲容量都是非常有限的，已經(jīng)難以滿足很多用戶的需求，而云計算恰好能給用戶提供服務(wù)。云計算是一種新型的應(yīng)用模式，通過網(wǎng)絡(luò)按需實現(xiàn)軟件處理能力、存儲資源等。[4]移動云計算正是基于云計算的概念出現(xiàn)的，它結(jié)合了移動網(wǎng)絡(luò)和云計算的概念。移動云計算通過移動的終端用戶進行網(wǎng)絡(luò)互連，并以按需、易擴展的方式獲得所需的基礎(chǔ)設(shè)施、平臺等相關(guān)的網(wǎng)絡(luò)資源和信息。

云計算的一個主要優(yōu)點就是在“云端”提供了大容量的存儲空間和高速的計算能力。即使客戶端的移動設(shè)備本身性能不夠，但是只要能進行數(shù)據(jù)的輸入、輸出，就可以和云端進行交互，讓云端提供計算和處理服務(wù)得到客戶想要的結(jié)果。移動云計算的特點是終端硬件及系統(tǒng)無關(guān)性，這是因為終端不進行真正的大量計算和數(shù)據(jù)的存儲，而是通過移動網(wǎng)絡(luò)把數(shù)據(jù)和計算任務(wù)上傳到云端讓云端來進行計算和處理。移動云計算還消除了計算的地域性限制，普通的云計算由于終端設(shè)備的地理位置固定，給很多的實際應(yīng)用帶來不便，但是移動云計算可以通過移動網(wǎng)絡(luò)進行數(shù)據(jù)傳輸和計算。如果移動網(wǎng)絡(luò)有足夠的帶寬，那么移動云計算就能實現(xiàn)實時的數(shù)據(jù)計算，讓客戶在終端或者手機上看到最及時的處理結(jié)果。

移動云計算中比較成熟的應(yīng)用有移動云存儲。目前，很多公司推出了自己的移動云存儲服務(wù)，在移動云上可以存放照片、文檔、郵件、視頻等相關(guān)內(nèi)容。傳統(tǒng)的存儲方法是客戶在存儲資料時，都是通過U盤或是硬盤等存儲設(shè)備。這種存儲方式有明顯的缺c，當(dāng)U盤或是硬盤丟失、損壞或是忘記隨身攜帶等，都可能造成想要取出存儲資料卻取不出來的狀況。移動云存儲是把資料上傳到網(wǎng)絡(luò)上的移動云存儲服務(wù)器，只要能上網(wǎng)可以隨時隨地取出存儲資料，不用擔(dān)心資料的丟失或損壞?；谝苿釉朴嬎愕囊苿由虅?wù)是商業(yè)發(fā)展的新模式。隨著移動終端設(shè)備的大量使用，很多商務(wù)都是在網(wǎng)絡(luò)上進行操作的，例如購物網(wǎng)站、微信支付等。除此之外移動云計算在醫(yī)療、郵件推送、遠(yuǎn)程教育等方面都有著非常成功的應(yīng)用。

3 大數(shù)據(jù)與移動云計算

本地單機的數(shù)據(jù)處理模式成本越來越高，而且擴展性比較差，并且隨著要處理的數(shù)據(jù)量不斷增加特別是對于大數(shù)據(jù)的應(yīng)用，相應(yīng)的處理性能會遇到瓶頸，在這種情況下，出現(xiàn)了云計算技術(shù)。云計算具備了較好的彈性，在動態(tài)調(diào)配資源、支持多用戶按需工作等特點正好符合了大數(shù)據(jù)的應(yīng)用需求。云計算以其高可靠性、強大的計算能力和海量的存儲空間成為解決大數(shù)據(jù)問題的重要技術(shù)，但是云計算不能在動態(tài)系統(tǒng)中進行應(yīng)用，這使得移動云計算成為云計算新的發(fā)展方向，特別是移動終端可以方便地通過無線網(wǎng)絡(luò)上網(wǎng)來使用移動云計算提供的各種服務(wù)。

大數(shù)據(jù)的落腳點在于“數(shù)據(jù)”，提供了對數(shù)據(jù)操作的各種方法，包括對數(shù)據(jù)的采集、分析、挖掘、存儲等。移動云計算更多體現(xiàn)在“計算”，看重的是通過互聯(lián)網(wǎng)產(chǎn)生的計算能力，移動云計算中很多的相關(guān)技術(shù)正是大數(shù)據(jù)技術(shù)的基礎(chǔ)。大數(shù)據(jù)技術(shù)首先要有大量的存儲數(shù)據(jù)，存儲數(shù)據(jù)的傳統(tǒng)方法是數(shù)據(jù)庫技術(shù)，但是現(xiàn)在的數(shù)據(jù)量越來越大，已經(jīng)超過了傳統(tǒng)數(shù)據(jù)庫的存儲模式，而移動云計算正好給這些數(shù)據(jù)的存儲提供了空間。其次是對大量數(shù)據(jù)的初步操作包括數(shù)據(jù)的提取、標(biāo)注、表達(dá)等，移動云計算通過互聯(lián)網(wǎng)可以把這些任務(wù)進行分解，分成許多較小的數(shù)據(jù)處理任務(wù)并分配給網(wǎng)絡(luò)中的很多移動終端用戶，讓他們在空閑的時候處理這些任務(wù)。最后是對移動云上存儲的大量數(shù)據(jù)進行分析，分析的手段包括數(shù)據(jù)過濾、數(shù)據(jù)分類、數(shù)據(jù)聚類等，移動云計算同樣可以像上邊那樣把任務(wù)進行分解并在網(wǎng)絡(luò)中尋找空閑的處理設(shè)備輔助完成這些任務(wù)。

基于移釉萍撲慵際豕鉤傻拇笫據(jù)系統(tǒng)，能夠提供大數(shù)據(jù)處理所需要的相關(guān)技術(shù)。大數(shù)據(jù)與移動云計算的結(jié)合，將是相得益彰，相互都可以更好地發(fā)揮作用。移動云計算為大數(shù)據(jù)提供強大的存儲和計算能力，更加迅速便捷完成大數(shù)據(jù)的處理任務(wù)，而大數(shù)據(jù)的相關(guān)業(yè)務(wù)能為移動云計算找到更多更好的實際應(yīng)用。

大數(shù)據(jù)和移動云計算在氣象領(lǐng)域的應(yīng)用，以前的氣象服務(wù)信息大多只是將氣象的監(jiān)測數(shù)據(jù)提供給用戶，由用戶自己去綜合使用，這顯然僅僅是氣象預(yù)報產(chǎn)業(yè)中的初級階段?，F(xiàn)在，人們通過移動網(wǎng)絡(luò)可以及時獲得氣溫、紫外線指數(shù)、感冒指數(shù)、晨練指數(shù)、洗車指數(shù)等更精細(xì)化的氣象信息，并利用大數(shù)據(jù)分析軟件可以獲得更多的用戶想知道的數(shù)據(jù)信息，體現(xiàn)出單一數(shù)據(jù)無法表達(dá)的價值和效益。

社交網(wǎng)絡(luò)是現(xiàn)在人們溝通的主要形式之一，用戶通過移動終端使用社交網(wǎng)絡(luò)，伴隨著用戶的社交過程會產(chǎn)生大量的數(shù)據(jù)，通過大數(shù)據(jù)的分析技術(shù)可以發(fā)現(xiàn)一個人和另一個人是怎么樣聯(lián)系上的，另外也可以通過兩個人的社交關(guān)系，找到讓他們進行聯(lián)系的渠道。不管我們在使用微信朋友圈還是微博賬戶，軟件系統(tǒng)經(jīng)常會提示我們哪個人可能是我們的朋友或者是同學(xué)，給你一個加入好友的提示，這就是大數(shù)據(jù)與移動云計算相結(jié)合應(yīng)用的一個實例。

地圖導(dǎo)航古已有之，而發(fā)展到今天的電子地圖導(dǎo)航更成為人們出行旅游的指南針。用戶使用移動終端比如手機、平板電腦通過移動互聯(lián)網(wǎng)把自己的實時地理位置信息傳送到網(wǎng)絡(luò)上，由此可以進行打車、聚會、餐飲、購物、汽車導(dǎo)航等應(yīng)用。大數(shù)據(jù)技術(shù)通過分析可以知道在哪些地方，什么樣的服務(wù)是在這個地理位置上的人最需要的，移動云計算把這樣的消息出去后，可以給我們提供最便利的服務(wù)。比如在商場附近可能有更多的人需要打車，在人煙稀少的地方可能有更多的人需要方向?qū)Ш降取?/p>

醫(yī)療行業(yè)具有數(shù)據(jù)量大、復(fù)雜性高等特點，醫(yī)療行業(yè)被認(rèn)為是最能讓大數(shù)據(jù)分析技術(shù)發(fā)揚光大的一個傳統(tǒng)領(lǐng)域。移動云計算利用移動終端可以隨時采集病人的相關(guān)數(shù)據(jù)信息，比如脈搏、血壓、照片等，這些數(shù)據(jù)隨著時間的推移將構(gòu)成海量的數(shù)據(jù)。此外，醫(yī)生對于病人的診斷結(jié)果也會保存在移動云存儲中，當(dāng)同樣類型的病癥再次出現(xiàn)的時候，移動終端可以根據(jù)大數(shù)據(jù)的分析技術(shù)給病人提出最合理的治療建議。這樣既節(jié)省了醫(yī)生的人力資源，又節(jié)省了病人排隊等待的時間，更能在第一時間解決病人的病情。麥肯錫的報告中指出，大數(shù)據(jù)技術(shù)可以幫助美國的醫(yī)療行業(yè)一年創(chuàng)造3千億美元的附加價值。

大數(shù)據(jù)利用了移動云計算的方便性，可以隨時隨地對數(shù)據(jù)進行處理并提供了及時的服務(wù)，移動云計算通過大數(shù)據(jù)找到了更好的應(yīng)用方向。沒有大數(shù)據(jù)對于大量信息的積累，移動云計算的計算能力再強也找不到用武之地，同樣如果沒有移動云計算的強大計算能力，那么大數(shù)據(jù)積累的大量信息也毫無價值。

4 總結(jié)

如果說大數(shù)據(jù)是巨大的寶藏，那么移動云計算是開發(fā)這個寶藏的最有利的工具。沒有移動云計算的強大計算能力，那么大數(shù)據(jù)中的相關(guān)數(shù)據(jù)就是一堆毫無用處的冗余數(shù)據(jù)。另一方面移動云計算也正是由于大數(shù)據(jù)的信息量大，本地單機處理能力有限才發(fā)展起來的，沒有大數(shù)據(jù)的信息累積，那么移動云計算也得不到完全的發(fā)揮，所以大數(shù)據(jù)與移動云計算是相輔相成的關(guān)系。

參考文獻(xiàn)：

[1] 趙華， 王海闊. 移動云計算綜述[J]. 電腦知識與技術(shù)， 2012（1）.

[2] 何清. 大數(shù)據(jù)與云計算[J]. 中國安防， 2014（1）.

[3] 張峰軍. 大數(shù)據(jù)技術(shù)研究綜述[J]. 通信技術(shù)， 2014（11）.

篇5

大數(shù)據(jù)（bigdata）是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。

云計算(cloudcomputing)是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進入可配置的計算資源共享池(資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用軟件，服務(wù))，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進行很少的交互。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。

二者：大數(shù)據(jù)需要云計算，云計算需要大數(shù)據(jù)

云計算為大數(shù)據(jù)處理提供了一個很好的平臺。云計算強調(diào)的是計算，而大數(shù)據(jù)則是計算的對象。如果結(jié)合實際的應(yīng)用，前者強調(diào)的是計算能力，后者看重的存儲能力。

（來源：文章屋網(wǎng) ）