大數(shù)據(jù)云計(jì)算技術(shù)精選(五篇)

序言：作為思想的載體和知識(shí)的探索者，寫作是一種獨(dú)特的藝術(shù)，我們?yōu)槟鷾?zhǔn)備了不同風(fēng)格的5篇大數(shù)據(jù)云計(jì)算技術(shù)，期待它們能激發(fā)您的靈感。

篇1

1.1大數(shù)據(jù)的發(fā)展

通過(guò)對(duì)大數(shù)據(jù)的匯集、智能分析和挖掘技術(shù)，發(fā)現(xiàn)數(shù)據(jù)中的潛在價(jià)值信息，幫助人們做出正確決策，這就是大數(shù)據(jù)產(chǎn)業(yè)的利益。國(guó)外大數(shù)據(jù)的起步比較早，比較成功的大數(shù)據(jù)應(yīng)用案例有：商業(yè)龍頭沃爾瑪公司通過(guò)對(duì)消費(fèi)者的購(gòu)物數(shù)據(jù)進(jìn)行分析，了解顧客的行為喜好，對(duì)超市的商品結(jié)構(gòu)進(jìn)行搭配重置以增加銷售額；亞馬遜公司通過(guò)大數(shù)據(jù)構(gòu)建自己的推薦系統(tǒng)，每年可以靠此多收益20%；奧巴馬通過(guò)大數(shù)據(jù)分析系統(tǒng)進(jìn)行數(shù)據(jù)挖掘，用科學(xué)的手段獲取選票、募集資金，贏得了總統(tǒng)競(jìng)選的勝利。相比于國(guó)外，國(guó)內(nèi)的大數(shù)據(jù)研究和應(yīng)用還處于起步和發(fā)展中的階段，比較成功的案例有：淘寶數(shù)據(jù)魔方平臺(tái)，通過(guò)大數(shù)據(jù)，為買家量身打造完善的購(gòu)物體驗(yàn)產(chǎn)品；新浪微博大數(shù)據(jù)產(chǎn)品，通過(guò)大量的社交數(shù)據(jù)，創(chuàng)造不同的社會(huì)經(jīng)濟(jì)價(jià)值等。

1.2云計(jì)算的發(fā)展

云計(jì)算可以像電力資源一樣提供彈性的按需服務(wù)，事實(shí)上它是集合了一系列的服務(wù)提供給用戶。云計(jì)算的核心可分為三個(gè)層次，分別為基礎(chǔ)設(shè)施層、平臺(tái)層、應(yīng)用層，如圖2所示。云計(jì)算將基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù)，具有可靠性高、可用性強(qiáng)、規(guī)模可伸縮等特點(diǎn)，滿足了不同企業(yè)的發(fā)展需求，各個(gè)云服務(wù)提供商根據(jù)各自服務(wù)對(duì)象的差別分別開(kāi)發(fā)了各具特色的云服務(wù)。（1）基礎(chǔ)設(shè)施即服務(wù)層基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）層通過(guò)部署硬件基礎(chǔ)設(shè)施對(duì)外提供服務(wù)，用戶可以根據(jù)各自的需求購(gòu)買虛擬或?qū)嶓w的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源。用戶可以在購(gòu)買的空間內(nèi)部署和運(yùn)行軟件，包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不能管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)的選擇、存儲(chǔ)空間、部署的應(yīng)用，也有可能獲得有限制的網(wǎng)絡(luò)組件（如防火墻、負(fù)載均衡器等）的控制。云服務(wù)提供商為了使硬件資源得到更有效的利用，引入了Xen、KVM、VMware等虛擬化技術(shù)，使得云服務(wù)商可以提供更個(gè)性化的IaaS服務(wù)。亞馬遜彈性云計(jì)算（AmazonElasticComputeCloud，AmazonEC2）是亞馬遜Web服務(wù)產(chǎn)品之一，AmazonEC2利用其全球性的數(shù)據(jù)中心網(wǎng)絡(luò)，為客戶提供虛擬主機(jī)服務(wù)，讓使用者可以租用云服務(wù)運(yùn)行所需應(yīng)用的系統(tǒng)。（2）平臺(tái)即服務(wù)層平臺(tái)即服務(wù)（PlatformasaService，PaaS）層是指云計(jì)算應(yīng)用程序開(kāi)發(fā)和部署的平臺(tái)，包括應(yīng)用設(shè)計(jì)、應(yīng)用開(kāi)發(fā)、應(yīng)用測(cè)試和應(yīng)用托管，都作為一種服務(wù)提供給客戶。開(kāi)發(fā)者只需要上傳代碼和數(shù)據(jù)就可以使用云服務(wù)，而無(wú)需關(guān)注底層的具體實(shí)現(xiàn)方式和管理模式。鑒于PaaS平臺(tái)的重要意義，國(guó)內(nèi)外廠商根據(jù)各自的戰(zhàn)略提出了相應(yīng)的PaaS平臺(tái)，國(guó)外的如GoogleAppEngine（GAE），通過(guò)GAE，即使在重載和數(shù)據(jù)量極大的情況下，也可以輕松構(gòu)建能安全運(yùn)行的應(yīng)用程序。國(guó)內(nèi)也有新浪的SAE（SinaAppEngine）、阿里的ACE（AliyunCloudEnginee）等。（3）軟件即服務(wù)層軟件即服務(wù)（SoftasaService，SaaS）層是為云計(jì)算終端用戶提供基于互聯(lián)網(wǎng)軟件應(yīng)用服務(wù)的平臺(tái)。隨著Web服務(wù)、HTML5、AJAX、Mashup等技術(shù)的成熟與標(biāo)準(zhǔn)化，SaaS應(yīng)用近年來(lái)發(fā)展迅速，典型的SaaS應(yīng)用包括GoogleApps、SalesforceCRM等。國(guó)外云計(jì)算平臺(tái)比較成功的應(yīng)用案例有：亞馬遜電子商務(wù)網(wǎng)站根據(jù)用戶的購(gòu)買行為和搜索技術(shù)搭建Hadoop集群，構(gòu)建推薦系統(tǒng)；Twitter社交網(wǎng)站搭建Hadoop分布式系統(tǒng)用于用戶關(guān)聯(lián)的建立。國(guó)內(nèi)云計(jì)算平臺(tái)的成功案例有：阿里巴巴目前整個(gè)集群達(dá)到1700個(gè)節(jié)點(diǎn)，數(shù)據(jù)容量達(dá)到24.3PB，并且以每天255TB的速率不斷攀升；2013年，華為推出國(guó)內(nèi)首個(gè)運(yùn)營(yíng)云平臺(tái)，目前為止與該平臺(tái)簽訂協(xié)議的ISV有3000多家。

1.3云計(jì)算相關(guān)技術(shù)

（1）分布式文件系統(tǒng)分布式文件系統(tǒng)（GoogleFileSystem，GFS）[3]是Google公司針對(duì)云計(jì)算過(guò)程處理海量數(shù)據(jù)而專門設(shè)計(jì)的。一個(gè)GFS集群由一個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)組成，用戶可以通過(guò)客戶端訪問(wèn)文件系統(tǒng)，進(jìn)行正常的文件處理工作。在云計(jì)算中，海量數(shù)據(jù)文件被分割成多個(gè)固定大小的數(shù)據(jù)塊，這些數(shù)據(jù)塊被自動(dòng)分配到不同的從節(jié)點(diǎn)存儲(chǔ)，并會(huì)在多個(gè)節(jié)點(diǎn)進(jìn)行備份存儲(chǔ)，以免數(shù)據(jù)丟失。主服務(wù)器管理文件系統(tǒng)記錄文件的各種屬性，包括文件名、訪問(wèn)控制權(quán)限、文件存儲(chǔ)塊映射、塊物理信息等數(shù)據(jù)。正是通過(guò)這個(gè)表，文件系統(tǒng)可以準(zhǔn)確地找到文件存儲(chǔ)的位置，避免數(shù)據(jù)丟失，保證數(shù)據(jù)安全。圖3是GFS的體系結(jié)構(gòu)示意，每一個(gè)節(jié)點(diǎn)都是普通的Linux服務(wù)器，GFS的工作就是協(xié)調(diào)成百上千的服務(wù)器為各種應(yīng)用提供服務(wù)。（2）分布式并行數(shù)據(jù)庫(kù)BigTableBigTable[4]是一個(gè)為管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng)，可以擴(kuò)展到PB級(jí)數(shù)據(jù)和上千臺(tái)服務(wù)器。很多Google的項(xiàng)目使用BigTable存儲(chǔ)數(shù)據(jù)，這些應(yīng)用對(duì)BigTable提出了不同的挑戰(zhàn)，比如對(duì)數(shù)據(jù)規(guī)模的要求、對(duì)時(shí)延的要求。BigTable能滿足這些多變的要求，為這些產(chǎn)品成功地提供了靈活、高性能的存儲(chǔ)解決方案。BigTable采用的鍵是三維的，分別是行鍵（RowKey）、列鍵（ColumnKey）和時(shí)間戳（Timestamp）。行鍵和列鍵都是字節(jié)串，時(shí)間戳是64位整型；值是一個(gè)字節(jié)串，可以用（row:string,column:string,time:int64）string來(lái)表示一條鍵值對(duì)記錄。（3）分布式計(jì)算框架MapReduceMapReduce[5]是Google公司提出的大數(shù)據(jù)技術(shù)計(jì)算框架，被廣泛應(yīng)用于數(shù)據(jù)挖掘、海量數(shù)據(jù)處理以及機(jī)器學(xué)習(xí)等領(lǐng)域，由于其并行化處理數(shù)據(jù)的強(qiáng)大能力，越來(lái)越多的廠商根據(jù)MapReduce思想開(kāi)發(fā)了各自的云計(jì)算平臺(tái)，其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個(gè)階段組成。用戶只需要編寫簡(jiǎn)單的map()和reduce()函數(shù)就可以完成復(fù)雜分布式程序設(shè)計(jì)，而不用了解計(jì)算框架的底層實(shí)現(xiàn)。MapReduce的數(shù)據(jù)分析流程如圖4所示。分布在不同服務(wù)器節(jié)點(diǎn)上的海量數(shù)據(jù)首先通過(guò)split()函數(shù)被拆分成Key/Value鍵值對(duì)，map()函數(shù)以該鍵值對(duì)為輸入，將該鍵值對(duì)進(jìn)行函數(shù)處理，產(chǎn)生一系列的中間結(jié)果并存入磁盤。MapReduce的中間過(guò)程shuffle()將所有具有相同Key值的鍵值對(duì)傳遞給Reduce環(huán)節(jié)，Reduce會(huì)收集中間結(jié)果，并將相同的Value值合并，完成所有工作后將結(jié)果輸出給用戶。MapReduce是一個(gè)并行的計(jì)算框架，主要體現(xiàn)在不同的服務(wù)器節(jié)點(diǎn)同時(shí)啟動(dòng)相同的工作，并且在每個(gè)獨(dú)立的服務(wù)器節(jié)點(diǎn)上又可以啟動(dòng)多個(gè)map()、reduce()并行計(jì)算。

2基于云計(jì)算的大數(shù)據(jù)處理

目前大數(shù)據(jù)處理的基本流程如圖5所示，整個(gè)流程經(jīng)過(guò)數(shù)據(jù)源的采集，用不同的方式進(jìn)行處理和加工，形成標(biāo)準(zhǔn)的格式，存儲(chǔ)下來(lái)；然后用合適的數(shù)據(jù)計(jì)算處理方式將數(shù)據(jù)推送到數(shù)據(jù)分析和挖掘平臺(tái)，通過(guò)有效的數(shù)據(jù)分析和挖掘手段，找出大數(shù)據(jù)中有價(jià)值的信息；最后通過(guò)可視化技術(shù)將信息展現(xiàn)給人們。

2.1數(shù)據(jù)采集存儲(chǔ)

大數(shù)據(jù)具有不同結(jié)構(gòu)的數(shù)據(jù)（包括結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)），針對(duì)不同類型的數(shù)據(jù)，在進(jìn)行云計(jì)算的分布采集時(shí)，需要選擇不同的數(shù)據(jù)采集方式收集數(shù)據(jù)，這也是大數(shù)據(jù)處理中最基礎(chǔ)的一步。采集到的數(shù)據(jù)并不是都適合推送到后面的平臺(tái)，需要對(duì)其進(jìn)一步處理，例如來(lái)源不同的數(shù)據(jù)，需要對(duì)其進(jìn)行加載合并；數(shù)據(jù)存在噪聲或者干擾點(diǎn)的，需要對(duì)其進(jìn)行“清洗”和“去噪”等操作，從而保障數(shù)據(jù)的有效性；數(shù)據(jù)的格式或者量綱不統(tǒng)一的，需要對(duì)其進(jìn)行標(biāo)準(zhǔn)化等轉(zhuǎn)換處理；最后處理生成的數(shù)據(jù)，通過(guò)特定的數(shù)據(jù)庫(kù)，如NoSQL數(shù)據(jù)（Google的BigTable，Amazon的Dynamo）進(jìn)行存儲(chǔ)，方便進(jìn)行下一步的數(shù)據(jù)讀取。由于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)無(wú)法適應(yīng)大數(shù)據(jù)的存儲(chǔ)要求，目前基于云計(jì)算的數(shù)據(jù)倉(cāng)庫(kù)都是采用列式存儲(chǔ)。列式存儲(chǔ)的數(shù)據(jù)具有相同的數(shù)據(jù)類型，可以大大提高數(shù)據(jù)的壓縮率，例如華為的云存儲(chǔ)服務(wù)MOS（MassiveObjectService）的數(shù)據(jù)持久性高達(dá)99.9%，同時(shí)提供高效率的端到端保障。

2.2數(shù)據(jù)計(jì)算模式

這一環(huán)節(jié)需要根據(jù)處理的數(shù)據(jù)類型和既定目標(biāo)，選擇合適的計(jì)算模型處理數(shù)據(jù)。由于數(shù)據(jù)量的龐大，會(huì)消耗大量的計(jì)算資源，因此，傳統(tǒng)的計(jì)算技術(shù)很難使用大數(shù)據(jù)的環(huán)境條件，取而代之的是分而治之的分布式計(jì)算模式，具有代表性的幾種計(jì)算模式的特點(diǎn)見(jiàn)表1。采用批處理方式計(jì)算的Hadoop平臺(tái)，例如，F(xiàn)acebook擁有全球最大規(guī)模的Hadoop集群，集群機(jī)器目前超過(guò)3000臺(tái)，CPU核心更是超過(guò)30000個(gè)，可以存儲(chǔ)的數(shù)據(jù)量能夠達(dá)到驚人的40PB；采用流處理方式計(jì)算的Storm平臺(tái)分布式計(jì)算的時(shí)延比Hadoop更小；實(shí)時(shí)處理方式計(jì)算的Spark是一種基于內(nèi)存的計(jì)算模式，例如，Yahoo運(yùn)用Spark技術(shù)在廣告營(yíng)銷中實(shí)時(shí)尋找目標(biāo)用戶，目前在Yahoo部署的Spark集群有112臺(tái)節(jié)點(diǎn)和9.2TB內(nèi)存；交互處理方式計(jì)算的Dremel在處理PB級(jí)別的數(shù)據(jù)時(shí)耗時(shí)可以縮短至秒級(jí)，并且無(wú)需大量的并發(fā)。

2.3數(shù)據(jù)分析挖掘

數(shù)據(jù)分析挖掘環(huán)節(jié)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱藏規(guī)律和有價(jià)值信息的過(guò)程，這個(gè)環(huán)節(jié)是大數(shù)據(jù)處理流程最為有價(jià)值和核心的部分，傳統(tǒng)的數(shù)據(jù)分析方法有機(jī)器學(xué)習(xí)、商業(yè)智能等。傳統(tǒng)的數(shù)據(jù)挖掘十大算法[6]（其中有K-Means、Na觙veBayes、SVM、EM、Apriori等）在云計(jì)算環(huán)境下都得到了大幅度的并行優(yōu)化，在大數(shù)據(jù)的背景下，計(jì)算速度得到了很大程度的提升。現(xiàn)在新興的深度學(xué)習(xí)是原始機(jī)器學(xué)習(xí)的一個(gè)新領(lǐng)域，動(dòng)機(jī)是在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，這種新的數(shù)據(jù)分析挖掘技術(shù)已經(jīng)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域有了成功的應(yīng)用。

2.4數(shù)據(jù)解釋展現(xiàn)

將挖掘出來(lái)的復(fù)雜信息進(jìn)行數(shù)據(jù)解釋和展現(xiàn)是整個(gè)大數(shù)據(jù)處理流程的最后一個(gè)環(huán)節(jié)，數(shù)據(jù)分析的結(jié)果需要向客戶進(jìn)行恰當(dāng)?shù)恼宫F(xiàn)。與傳統(tǒng)的數(shù)據(jù)輸出和文本展示等方式不同，現(xiàn)在絕大部分的企業(yè)都通過(guò)引進(jìn)“數(shù)據(jù)可視化”技術(shù)來(lái)展示大數(shù)據(jù)分析的結(jié)果信息，這種方式以圖像、動(dòng)畫等方式，形象地向客戶展現(xiàn)數(shù)據(jù)處理分析的結(jié)果，也容易被客戶理解和接受，更為先進(jìn)的是，現(xiàn)在逐步形成的“交互式可視化技術(shù)”，大大地方便了數(shù)據(jù)與人之間的“親密交流”。目前面向大數(shù)據(jù)主流應(yīng)用的可視化技術(shù)見(jiàn)表2。

3大數(shù)據(jù)和云計(jì)算的未來(lái)挑戰(zhàn)

大數(shù)據(jù)需要超大存儲(chǔ)容量的計(jì)算能力，云計(jì)算作為一種新的計(jì)算模式，為大數(shù)據(jù)的應(yīng)用研究提供了技術(shù)支持，大數(shù)據(jù)和云計(jì)算的完美結(jié)合，相得益彰，發(fā)揮了各自的最大優(yōu)勢(shì)，為社會(huì)創(chuàng)造了巨大的價(jià)值。雖然國(guó)內(nèi)大數(shù)據(jù)和云計(jì)算的研究還是處于初步階段，但隨著研究的不斷進(jìn)行，所面臨的問(wèn)題也越來(lái)越多。在大數(shù)據(jù)向前不斷邁進(jìn)的階段里，如何讓我們對(duì)大數(shù)據(jù)的研究朝著有利于全人類的方向發(fā)展成為了重中之重。

3.1重要戰(zhàn)略資源

在這個(gè)信息社會(huì)里，大數(shù)據(jù)將會(huì)成為眾多企業(yè)甚至是國(guó)家層面的重要戰(zhàn)略資源。國(guó)家層面要將大數(shù)據(jù)上升為國(guó)家戰(zhàn)略。奧巴馬在2012年3月將“大數(shù)據(jù)戰(zhàn)略”上升為最高國(guó)策，像陸權(quán)、海權(quán)、空權(quán)一樣，將數(shù)據(jù)的占有和控制作為重要的國(guó)家核心能力。大數(shù)據(jù)資源也會(huì)成為各種機(jī)構(gòu)和企業(yè)的重要資產(chǎn)以及提升企業(yè)社會(huì)競(jìng)爭(zhēng)力的有力武器。在大數(shù)據(jù)市場(chǎng)里，客戶的各種數(shù)據(jù)信息都會(huì)為企業(yè)創(chuàng)造價(jià)值，也會(huì)在促進(jìn)消費(fèi)水平、提高廣告效應(yīng)等方面扮演重要的角色。

3.2數(shù)據(jù)隱私安全

大數(shù)據(jù)如果運(yùn)用得當(dāng)，可以有效地幫助相關(guān)領(lǐng)域做出幫助和決策，但若這些數(shù)據(jù)被泄露和竊取，隨之而來(lái)的將是個(gè)人信息及財(cái)產(chǎn)的安全問(wèn)題得不到保障。2011年索尼公司遭到黑客攻擊，造成一億份客戶資料泄露，經(jīng)濟(jì)虧損約1.71億美元。為了解決大數(shù)據(jù)的數(shù)據(jù)隱私安全問(wèn)題，Roy等在2010年提出了一種隱私保護(hù)系統(tǒng)，將信息流控制和差分隱私保護(hù)技術(shù)融入到云計(jì)算平臺(tái)中，防止MapReduce計(jì)算過(guò)程中的數(shù)據(jù)泄露問(wèn)題。在數(shù)據(jù)更新飛速的情況下，如何維護(hù)數(shù)據(jù)的隱私安全成為大數(shù)據(jù)時(shí)代研究的重點(diǎn)方向。

3.3智慧城市

人口的增長(zhǎng)給城市交通、醫(yī)療、建筑等各方面帶來(lái)了不小的壓力，智慧城市就是依靠大數(shù)據(jù)和云計(jì)算技術(shù)，實(shí)現(xiàn)城市高效的管理、便捷的民生服務(wù)、可持續(xù)的產(chǎn)業(yè)發(fā)展。在剛剛結(jié)束的“兩會(huì)”的政府工作報(bào)告中，總理也特意強(qiáng)調(diào)了智慧城市發(fā)展的重要性，目前國(guó)家智慧城市試點(diǎn)已遍布全國(guó)各地，多達(dá)409個(gè)。智慧安防、智慧交通、智慧醫(yī)療等都是智慧城市應(yīng)用領(lǐng)域。智慧城市的建設(shè)也趨使大數(shù)據(jù)人才的培養(yǎng)。據(jù)預(yù)測(cè)，到2015年，大數(shù)據(jù)將會(huì)出現(xiàn)約100萬(wàn)的人才缺口，全球?qū)⑿略?40萬(wàn)個(gè)與大數(shù)據(jù)相關(guān)的工作崗位來(lái)填補(bǔ)這個(gè)空缺。

3.4能源消耗

篇2

【關(guān)鍵詞】云計(jì)算;云儲(chǔ)存;數(shù)據(jù)完整性;數(shù)據(jù)隱私

1.前言

云計(jì)算和云儲(chǔ)存的不斷成熟、發(fā)展為大數(shù)據(jù)儲(chǔ)存及處理提供了技術(shù)支持，可以使更多用戶在不同終端上實(shí)現(xiàn)對(duì)各類數(shù)據(jù)的操作，但是數(shù)據(jù)安全問(wèn)題一直是大數(shù)據(jù)云儲(chǔ)存中的一個(gè)突出問(wèn)題，很多用戶在使用云儲(chǔ)存過(guò)程中都出現(xiàn)竊取、丟失等現(xiàn)象，這類數(shù)據(jù)安全問(wèn)題出現(xiàn)后會(huì)給企業(yè)和用戶帶來(lái)不同程度的經(jīng)濟(jì)損失。日益凸顯的云計(jì)算安全問(wèn)題不僅已成為云服務(wù)用戶共同關(guān)注的問(wèn)題，同時(shí)也在很大程度上對(duì)大數(shù)據(jù)儲(chǔ)存帶來(lái)了威脅，本文針對(duì)云計(jì)算和大數(shù)據(jù)的特點(diǎn)對(duì)數(shù)據(jù)儲(chǔ)存的完整性、隱私性進(jìn)行分析，通過(guò)研究和總結(jié)國(guó)內(nèi)外最新研究成果來(lái)保證大數(shù)據(jù)儲(chǔ)存安全。

2.大數(shù)據(jù)儲(chǔ)存的云端安全接入技術(shù)

傳統(tǒng)的計(jì)算機(jī)數(shù)據(jù)關(guān)系中數(shù)據(jù)擁有者擔(dān)任著數(shù)據(jù)提供者的角色，用戶只需要提交有效的賬戶名和密碼便可以對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)，并可以根據(jù)用戶自身權(quán)限進(jìn)行相關(guān)操作，但是在云計(jì)算中數(shù)據(jù)擁有者和云服務(wù)提供者是兩個(gè)不同的角色，云服務(wù)提供者一般都是以商業(yè)機(jī)構(gòu)為主，而這些商業(yè)機(jī)構(gòu)在實(shí)際上是處于用戶信任區(qū)域以外，因此，傳統(tǒng)認(rèn)證方式已無(wú)法滿足用戶對(duì)云存儲(chǔ)安全接入的實(shí)際需求，云儲(chǔ)存在實(shí)際使用中的接入需要采用額外的檢驗(yàn)機(jī)制，這樣才能確保云端安全接入技術(shù)可以滿足大數(shù)據(jù)儲(chǔ)存的安全要求。圖1是一種可靠性較高的云端安全接入模型，用戶需要使用數(shù)據(jù)時(shí)需要向數(shù)據(jù)擁有者提交一個(gè)使用請(qǐng)求，在數(shù)據(jù)擁有者實(shí)時(shí)頒發(fā)的密鑰、證書后便可以接入到云端，該種云端安全接入模型在實(shí)際應(yīng)用中相對(duì)較為安全、可靠，但是只有數(shù)據(jù)擁有者處于在線的狀態(tài)才能為用戶提供數(shù)據(jù)服務(wù)，一旦網(wǎng)絡(luò)用戶在實(shí)際使用中的網(wǎng)絡(luò)通信受到任何因素限制，則該安全接入模型無(wú)法滿足用戶對(duì)大數(shù)據(jù)儲(chǔ)存安全的要求。

圖1 一種可靠性較高的云端安全接入模型

研究表明，云儲(chǔ)存接入的安全性主要受到數(shù)據(jù)擁有者，根據(jù)用戶的實(shí)時(shí)需求進(jìn)行驗(yàn)證、反饋等方式有著直接影響，數(shù)據(jù)擁有者如果保持在線狀態(tài)就可以確保云計(jì)算的安全接入，但是由于受到用戶對(duì)數(shù)據(jù)需求量不斷增加的影響，大量分配、更新密鑰等操作會(huì)給數(shù)據(jù)擁有者戶端帶來(lái)很大負(fù)擔(dān)，一旦數(shù)據(jù)擁有者主機(jī)通信受到限制，則其便無(wú)法滿足用戶對(duì)共享數(shù)據(jù)的訪問(wèn)、使用要求。基于第三方云服務(wù)器的接入技術(shù)可以有效降低主機(jī)負(fù)擔(dān)，并且通過(guò)運(yùn)用重加密技術(shù)可以避免數(shù)據(jù)泄漏，但是該種接入技術(shù)在實(shí)際應(yīng)用中的靈活性、實(shí)時(shí)性還有待提高，短期內(nèi)無(wú)法滿足大量新用戶的接入及使用要求，這也為大數(shù)據(jù)儲(chǔ)存的云端接入技術(shù)指明了一條方向。數(shù)據(jù)擁有者在選擇云端接入技術(shù)與控制方法過(guò)程中，應(yīng)根據(jù)數(shù)據(jù)私密等級(jí)、用戶管理模式進(jìn)行選擇，確保每一個(gè)用戶都可以安全接入到云端的同時(shí)，可以實(shí)現(xiàn)優(yōu)化網(wǎng)絡(luò)效率這一目的。

3.大數(shù)據(jù)儲(chǔ)存的數(shù)據(jù)加密技術(shù)

數(shù)據(jù)在上傳到云端后可能由于受到服務(wù)器故障的影響，導(dǎo)致發(fā)生數(shù)據(jù)泄漏的可能性，云平臺(tái)在被非法接入后可能出現(xiàn)數(shù)據(jù)被竊取、篡改以及偽造等事件，所以儲(chǔ)存在云端的數(shù)據(jù)需要通過(guò)加密技術(shù)對(duì)其進(jìn)行加密處理，經(jīng)過(guò)數(shù)據(jù)擁有者拆分、加密后才能上傳到云計(jì)算平臺(tái)，用戶根據(jù)自身需求將數(shù)據(jù)下載后需要對(duì)其進(jìn)行解密處理，即使數(shù)據(jù)在使用、儲(chǔ)存、傳輸過(guò)程中出現(xiàn)丟失、被竊等事件，也因數(shù)據(jù)經(jīng)過(guò)事先加密而不會(huì)發(fā)生私密信息泄露的事件。現(xiàn)階段云計(jì)算中所使用的主流數(shù)據(jù)加密技術(shù)以屬性加密和加密為主，基于密鑰（KP-ABE）和基于密文的屬性加密（CP-ABE），這兩種數(shù)據(jù)加密策略在實(shí)際應(yīng)用中具有各不相同的特點(diǎn)，圖2是一種基于重加密技術(shù)（PRE）的云計(jì)算數(shù)據(jù)加密模型，該種云計(jì)算數(shù)據(jù)加密模型通過(guò)部署人來(lái)提高數(shù)據(jù)安全性，由于云平臺(tái)在實(shí)際運(yùn)用中扮演的角色為半可信人，將PRE架構(gòu)移植到云計(jì)算中可以塑造出一套安全性較高的加密方案。B用戶如果需要共享A用戶經(jīng)過(guò)加密處理后上傳到云端的數(shù)據(jù)，A根據(jù)用戶信息和B的公鑰來(lái)產(chǎn)生一個(gè)具有“過(guò)渡”作用的密鑰，而該密鑰在實(shí)際使用中只具有密文與密文間相互進(jìn)行轉(zhuǎn)換的功能，可以將A用戶提供的密文轉(zhuǎn)換為針對(duì)B用戶的密文，B用戶下載該密文后便可以對(duì)A用戶共享的數(shù)據(jù)進(jìn)行相應(yīng)操作。

圖2 基于PRE的云計(jì)算數(shù)據(jù)加密模型

數(shù)據(jù)安全是實(shí)現(xiàn)大數(shù)據(jù)云儲(chǔ)存安全的核心內(nèi)容，因此，大數(shù)據(jù)儲(chǔ)存過(guò)程中必須選擇有效的加密技術(shù)，這對(duì)提高大數(shù)據(jù)儲(chǔ)存安全體系的整體性能有著重要作用，通過(guò)采用科學(xué)、合理的加密方法不僅可以確保大數(shù)據(jù)儲(chǔ)存過(guò)程中的機(jī)密性，對(duì)幫助云計(jì)算及用戶實(shí)現(xiàn)網(wǎng)絡(luò)資源分配最優(yōu)化也有著重要意義。

4.大數(shù)據(jù)完整性校驗(yàn)技術(shù)

數(shù)據(jù)完整性是指數(shù)據(jù)在儲(chǔ)存、傳輸以及使用等諸多環(huán)節(jié)，數(shù)據(jù)不會(huì)發(fā)生被篡改事件，確保數(shù)據(jù)信息內(nèi)部和外部在各環(huán)節(jié)中的一致性，而大數(shù)據(jù)存儲(chǔ)在云端容易被非法篡改，這便會(huì)導(dǎo)致大數(shù)據(jù)存儲(chǔ)過(guò)程中的完整性被嚴(yán)重破壞，因此，對(duì)存儲(chǔ)在云端的大數(shù)據(jù)完整性進(jìn)行校驗(yàn)有著重要意義。圖3提出了一種基于“可取回性證明”（POR）的大數(shù)據(jù)完整性校驗(yàn)?zāi)Ｐ停摲桨冈趯?shí)際設(shè)計(jì)中采用了挑戰(zhàn)―應(yīng)答模式，驗(yàn)證者在對(duì)大數(shù)據(jù)進(jìn)行糾錯(cuò)編碼的同時(shí)要在文件隨機(jī)位置插入“哨兵”，這些哨兵主要是由帶密鑰的哈希函數(shù)根據(jù)驗(yàn)證的實(shí)際需求生成的，每次挑戰(zhàn)時(shí)證明者為了反饋驗(yàn)證者的要求，會(huì)自動(dòng)返回一定數(shù)目的哨兵，通過(guò)哨兵返回?cái)?shù)目的完整性對(duì)文件進(jìn)行檢測(cè)。該大數(shù)據(jù)完整性校驗(yàn)?zāi)Ｐ驮趯?shí)際應(yīng)用中不需要對(duì)所有數(shù)據(jù)進(jìn)行復(fù)制，而且存放哨兵的額外存儲(chǔ)量也相對(duì)較少，主機(jī)不需要對(duì)挑戰(zhàn)―應(yīng)答模式提供過(guò)大的計(jì)算量，所以其整體性能完全可以滿足大數(shù)據(jù)存儲(chǔ)安全要求。以可信第三方代替用戶進(jìn)行大數(shù)據(jù)可取回性檢查，并根據(jù)用戶數(shù)據(jù)的損害情況來(lái)執(zhí)行數(shù)據(jù)恢復(fù)，這種基于輕量級(jí)數(shù)據(jù)可取回性證明算法“L-POR”可以通過(guò)冗余數(shù)據(jù)來(lái)加入到用戶認(rèn)證信息中，避免了其他同類算法在大數(shù)據(jù)完整性校驗(yàn)中產(chǎn)生的大量存儲(chǔ)開(kāi)銷。

圖3 一種基于POR的大數(shù)據(jù)完整性校驗(yàn)?zāi)Ｐ?/p>

5.結(jié)語(yǔ)

云計(jì)算和大數(shù)據(jù)儲(chǔ)存中其安全性不僅會(huì)對(duì)云計(jì)算技術(shù)的發(fā)展有著直接影響，更關(guān)系到每一個(gè)云計(jì)算用戶在使用中的隱私和利益，所以要通過(guò)加強(qiáng)接入控制技術(shù)、數(shù)據(jù)加密技術(shù)以及大數(shù)據(jù)完整性校驗(yàn)檢測(cè)技術(shù)等方面，來(lái)確保大數(shù)據(jù)存儲(chǔ)的安全工作可以滿足各類用戶的實(shí)際需求。

參考文獻(xiàn)

篇3

云計(jì)算技術(shù)具有高效、可靠、高可擴(kuò)展性和易用性的特征，被很多領(lǐng)域廣泛的使用。本文討論的內(nèi)容是如何將云計(jì)算技術(shù)應(yīng)用到就業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)中，從而高效率、高質(zhì)量的做好就業(yè)服務(wù)工作。

Hadoop是由 Apache 開(kāi)源組織提供的分布式系統(tǒng)基礎(chǔ)框架，能夠有效的解決海量數(shù)據(jù)分布存儲(chǔ)和分布計(jì)算，是云計(jì)算技術(shù)應(yīng)用層面很好的解決方案。

一、高校就業(yè)大數(shù)據(jù)信息系統(tǒng)現(xiàn)狀

目前，各高校均建設(shè)了高校內(nèi)部的畢業(yè)生就業(yè)大數(shù)據(jù)信息平臺(tái)，一定程度上滿足了畢業(yè)生就業(yè)服務(wù)的需要。但是這些系統(tǒng)存在以下幾方面問(wèn)題：第一，系統(tǒng)側(cè)重畢業(yè)生和就業(yè)信息管理，或者只是學(xué)生管理信息系統(tǒng)的一部分，缺乏服務(wù)機(jī)制，無(wú)法實(shí)現(xiàn)學(xué)生、教師和用人單位的聯(lián)動(dòng)。第二，系統(tǒng)資源利用率低，系統(tǒng)運(yùn)行效率低、安全可靠性和可擴(kuò)展性差，給學(xué)生數(shù)據(jù)安全帶來(lái)很大的隱患。第三，系統(tǒng)數(shù)據(jù)利用率低，多數(shù)集中在簡(jiǎn)單的查詢，很難獲得有益的知識(shí)，提供決策服務(wù)。第四，系統(tǒng)缺乏個(gè)性化定制，很難適應(yīng)當(dāng)前就業(yè)工作不斷調(diào)整的需要。

隨著高校、畢業(yè)生和企業(yè)對(duì)就業(yè)服務(wù)的要求提高，現(xiàn)有的就業(yè)信息平臺(tái)已經(jīng)不能適應(yīng)就業(yè)工作多元化的增長(zhǎng)和發(fā)展的需要，影響高校畢業(yè)生的就業(yè)效果，新型的就業(yè)大數(shù)據(jù)信息平臺(tái)的建設(shè)已成為破解就業(yè)工作難題的必要條件之一。

二、構(gòu)建基于云計(jì)算的高校就業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)

云計(jì)算因其強(qiáng)大的計(jì)算和數(shù)據(jù)儲(chǔ)存的能力、可靠、安全的共享數(shù)據(jù)存儲(chǔ)中心、客戶端的設(shè)備配置沒(méi)有限制等特點(diǎn)已廣泛應(yīng)用各行各業(yè)，并日益發(fā)展成熟。通過(guò)云計(jì)算技術(shù)建設(shè)畢業(yè)生就業(yè)信息平臺(tái)，整合和共享就業(yè)信息資源，為畢業(yè)生就業(yè)提供方便、快捷、高效的信息服務(wù)平臺(tái)，破解現(xiàn)有就業(yè)信息平臺(tái)存在的問(wèn)題。

從研究現(xiàn)狀來(lái)看，云計(jì)算具有以下一特點(diǎn)：

一是強(qiáng)大的計(jì)算和數(shù)據(jù)儲(chǔ)存的能力。“云”能賦予用戶完成各類應(yīng)用前所未有的計(jì)算能力，為用戶儲(chǔ)存和管理數(shù)據(jù)提供幾乎無(wú)限多的空間。服務(wù)器的日常維護(hù)也有云服務(wù)提供商來(lái)進(jìn)行。

二是最可靠、最安全的共享數(shù)據(jù)存儲(chǔ)中心。通過(guò)云存儲(chǔ)，數(shù)據(jù)復(fù)制到多臺(tái)物理機(jī)器，避免因硬件崩潰或誤操作刪除的造成的數(shù)據(jù)的丟失或損壞。

三是客戶端的設(shè)備配置沒(méi)有限制。用戶在隨時(shí)隨地方便、快捷、安全的使用位于不同計(jì)算機(jī)、不同的操作系統(tǒng)的應(yīng)用服務(wù)，從“云”中獲取個(gè)人的需求。

2.1 構(gòu)建高校就業(yè)云服務(wù)平臺(tái)

根據(jù)提供服務(wù)資源的類型，云服務(wù)被分為三個(gè)類別：SaaS（軟件即服務(wù)）、PaaS（平臺(tái)即服務(wù)）、IaaS（基礎(chǔ)設(shè)施即服務(wù)）。

高校就業(yè)大數(shù)據(jù)信息云服務(wù)平臺(tái)采用 SaaS 模式，通過(guò)瀏覽器和移動(dòng)終端將軟件作為云服務(wù)提供給所需用戶。用戶無(wú)需購(gòu)買軟件和維護(hù)軟件，用戶根據(jù)業(yè)務(wù)需求購(gòu)買相應(yīng)的云服務(wù)，云服務(wù)提供商管理相關(guān)軟件并實(shí)施軟件的維護(hù)。這種方式大大降低用戶在軟件購(gòu)買和維護(hù)上人力和物力的開(kāi)支。高校就業(yè)信息云服務(wù)平臺(tái)自底向上分別是“云數(shù)據(jù)層”、“數(shù)據(jù)服務(wù)層”、“業(yè)務(wù)服務(wù)層”、“云服務(wù)層”和“應(yīng)用層”，每層之間采用松耦合，提供相互訪問(wèn)的接口，用戶不必關(guān)注層內(nèi)部邏輯。

（1） 數(shù)據(jù)存儲(chǔ)層

高校信息服務(wù)平臺(tái)的數(shù)據(jù)主要包含學(xué)生數(shù)據(jù)、用人單位數(shù)據(jù)和高校相關(guān)數(shù)據(jù)，數(shù)據(jù)是作為平臺(tái)的基礎(chǔ)。為了提供便捷、高效、可靠的數(shù)據(jù)訪問(wèn)，數(shù)據(jù)存儲(chǔ)層采用云存儲(chǔ)技術(shù)實(shí)現(xiàn)。

（2） 數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層建立專門進(jìn)行云數(shù)據(jù)層訪問(wèn)的接口程序，用戶通過(guò) webservice 或者 API 進(jìn)行加密數(shù)據(jù)的訪問(wèn)，數(shù)據(jù)的具體存儲(chǔ)對(duì)用戶是透明的，這也有效的提高數(shù)據(jù)安全性，并且為數(shù)據(jù)的擴(kuò)展提供基礎(chǔ)。

（3） 業(yè)務(wù)管理層

業(yè)務(wù)服務(wù)層包括高校信息服務(wù)平臺(tái)所有業(yè)務(wù)，具體包括應(yīng)聘招聘、就業(yè)指導(dǎo)、畢業(yè)生困難幫扶、創(chuàng)業(yè)等服務(wù)內(nèi)容，這些業(yè)務(wù)服務(wù)于政府、用人單位、高校、學(xué)生和社會(huì)等不用的用戶。由于就業(yè)工作隨著時(shí)間的推移會(huì)受到就業(yè)形勢(shì)、政策等很多因素影響，從而導(dǎo)致就業(yè)工作業(yè)務(wù)和用戶發(fā)生不斷變化，所以就業(yè)信息服務(wù)平臺(tái)業(yè)務(wù)服務(wù)層要具備高擴(kuò)展性。基于以上的要求，我們構(gòu)建了業(yè)務(wù)服務(wù)控制臺(tái)，業(yè)務(wù)服務(wù)被設(shè)計(jì)為可插拔式，每項(xiàng)業(yè)務(wù)可以被掛載在控制臺(tái)，或者從控制臺(tái)被卸載，也可以設(shè)定業(yè)務(wù)接口、執(zhí)行業(yè)務(wù)升級(jí)操作等服務(wù)。

（4） 云服務(wù)層

云服務(wù)層將業(yè)務(wù)服務(wù)層的內(nèi)容以應(yīng)用接口的方式提供給應(yīng)用層，提供的方式是為業(yè)務(wù)服務(wù)層建立 API 接口和webservice 接口。應(yīng)用層可以通過(guò)編程的方式調(diào)用業(yè)務(wù)接口，實(shí)現(xiàn)業(yè)務(wù)訪問(wèn)。

設(shè)定中文信息處理和語(yǔ)音識(shí)別接口，用戶可以通過(guò)輸入中文關(guān)鍵字或者語(yǔ)音調(diào)用業(yè)務(wù)，在應(yīng)用層和業(yè)務(wù)層之間建立更加友好的數(shù)據(jù)傳送，也為移動(dòng)終端用戶提供更加便捷的操作方式。

（5） 應(yīng)用層

應(yīng)用層直接面向?qū)嶋H用戶，實(shí)現(xiàn)就業(yè)信息云服務(wù)平臺(tái)不同類型的用戶圖形界面，從而能夠適應(yīng)不同用戶的不同需求。用戶既可以通過(guò)個(gè)人電腦上的瀏覽器訪問(wèn)獲得云服務(wù)、也可以使用智能移動(dòng)終端的應(yīng)用程序或者微問(wèn)云服務(wù)。

2.2 建立基于 Hadoop 的云數(shù)據(jù)存儲(chǔ)

高校就業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)需要大量的數(shù)據(jù)進(jìn)行支持，而且數(shù)據(jù)逐年增加。利用云存儲(chǔ)技術(shù)主要解決快速、高效的處理海量數(shù)據(jù)，從而達(dá)到易擴(kuò)展、低成本、易管理、高效和安全的設(shè)計(jì)原則。 Hadoop 軟件框架的HDFS（分布式文件系統(tǒng)）提供了具備高擴(kuò)展性、高容錯(cuò)性、高可靠性、高效等特點(diǎn)，并且可以部署在低廉的硬件上，從而降低成本。基于以上內(nèi)容，高校就業(yè)服務(wù)平臺(tái)的數(shù)據(jù)存儲(chǔ)通過(guò) HDFS 分布式存儲(chǔ)技術(shù)實(shí)現(xiàn)云存儲(chǔ)，Hadoop 的具體部署

2.3 建立基于 Hadoop 的數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)是就業(yè)大數(shù)據(jù)信息云服務(wù)平臺(tái)重要的業(yè)務(wù)，用戶需要了解學(xué)生年齡、學(xué)歷等數(shù)據(jù)分布，需要了解就業(yè)數(shù)據(jù)分布，需要了解用人單位人才需求分布，需要了解就業(yè)數(shù)據(jù)內(nèi)部和外部存在的各種聯(lián)系。數(shù)據(jù)服務(wù)從海量數(shù)據(jù)的計(jì)算中獲得，利用云計(jì)算技術(shù)能夠高效、低成本的解決計(jì)算問(wèn)題，Hadoop 為云計(jì)算提供了有效的解決方案，它提供了MapReduce 模型，這個(gè)模型解決了傳統(tǒng)并行計(jì)算在易編程性上的瓶頸，程序員可以更容易的開(kāi)發(fā)分布式并行計(jì)算程序。MapReduce 同 HDFS 一樣采用一個(gè)主控節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)的架構(gòu)。

將大規(guī)模數(shù)據(jù)集分成多個(gè)小數(shù)據(jù)集，然后這些數(shù)據(jù)集分o多個(gè) map 節(jié)點(diǎn)進(jìn)行并行處理產(chǎn)生中間結(jié)果，最后在 reduce階段對(duì)這些結(jié)果匯總，得到最終結(jié)果。

篇4

關(guān)鍵詞：大數(shù)據(jù)；移動(dòng)云計(jì)算；云計(jì)算；信息

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）34-0003-02

隨著互聯(lián)網(wǎng)的快速發(fā)展，人們逐步感受到了“信息大爆炸”，特別是各種移動(dòng)通訊和物聯(lián)網(wǎng)的發(fā)展，數(shù)以億計(jì)的網(wǎng)絡(luò)用戶隨時(shí)產(chǎn)生數(shù)據(jù)。目前全球的數(shù)據(jù)總量達(dá)到了ZB規(guī)模，大數(shù)據(jù)成為人們關(guān)注的熱點(diǎn)話題，生活中的很多方面都可以和大數(shù)據(jù)技術(shù)進(jìn)行結(jié)合，通過(guò)大數(shù)據(jù)技術(shù)來(lái)為我們服務(wù)。

大數(shù)據(jù)技術(shù)雖然給我們的生活帶來(lái)了巨大的改變，但是大數(shù)據(jù)技術(shù)要求計(jì)算機(jī)具有相應(yīng)的大數(shù)據(jù)處理能力，為此，云計(jì)算的概念產(chǎn)生了。云計(jì)算是分布式計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、負(fù)載均衡等相關(guān)技術(shù)發(fā)展融合的產(chǎn)物。云計(jì)算通過(guò)網(wǎng)絡(luò)將龐大的計(jì)算機(jī)處理任務(wù)進(jìn)行分解，把分解后的較小的計(jì)算任務(wù)交給眾多的網(wǎng)絡(luò)數(shù)據(jù)計(jì)算服務(wù)器，經(jīng)過(guò)網(wǎng)絡(luò)服務(wù)器的分析處理之后把結(jié)果重新傳回給用戶。移動(dòng)云計(jì)算是指通過(guò)移動(dòng)互聯(lián)網(wǎng)以按需、易擴(kuò)展的方式獲得所需的基礎(chǔ)設(shè)施、平臺(tái)、軟件或應(yīng)用等的一種IT資源或信息服務(wù)的交付與使用模式。[1]

1 大數(shù)據(jù)技術(shù)

現(xiàn)今的世界是一個(gè)數(shù)據(jù)的世界，我們身邊到處都充滿著數(shù)據(jù)，比如打電話的語(yǔ)音數(shù)據(jù)、發(fā)短信的文字?jǐn)?shù)據(jù)、微信的聊天數(shù)據(jù)、報(bào)紙、雜志、網(wǎng)絡(luò)購(gòu)物等等。這么多的數(shù)據(jù)實(shí)時(shí)地影響了我們的工作、生活、學(xué)習(xí)，甚至社會(huì)的發(fā)展。根據(jù)維基百科的定義，大數(shù)據(jù)（Big Data）是用于數(shù)據(jù)集的一個(gè)術(shù)語(yǔ)，是指大小超出了常用的軟件工具在運(yùn)行時(shí)間內(nèi)可以承受的收集、管理和處理數(shù)據(jù)能力的數(shù)據(jù)集。[2]美國(guó)IBM公司定義了大數(shù)據(jù)的3V特點(diǎn)，即規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）。規(guī)模性表示大數(shù)據(jù)涉及的數(shù)據(jù)量巨大，一方面人們的生活中產(chǎn)生了很多的具體數(shù)據(jù)，另一方面是互聯(lián)網(wǎng)通信中移動(dòng)通信的虛擬數(shù)據(jù)，這些數(shù)據(jù)的數(shù)據(jù)量是非常巨大的。多樣性表示大數(shù)據(jù)中數(shù)據(jù)類型的復(fù)雜多樣，其中包括最常見(jiàn)的文本數(shù)據(jù)、圖像數(shù)據(jù)、語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)，除此之外還有很多其他的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。高速性表示大數(shù)據(jù)技術(shù)必須具有實(shí)時(shí)性，比如實(shí)時(shí)路況導(dǎo)航、全球股價(jià)波動(dòng)、一些通信業(yè)務(wù)的處理等等。

大數(shù)據(jù)技術(shù)的發(fā)展越來(lái)越成熟，大數(shù)據(jù)的價(jià)值也越來(lái)越受到人們的關(guān)注，對(duì)于數(shù)據(jù)處理的實(shí)時(shí)性和有效性要求越來(lái)越高。大數(shù)據(jù)在公共服務(wù)、商業(yè)智能、科學(xué)研究等領(lǐng)域發(fā)揮著巨大的作用，影響力越來(lái)越大，大數(shù)據(jù)技術(shù)的使用一定會(huì)給我們帶來(lái)巨大的價(jià)值。社會(huì)中的各行各業(yè)可以通過(guò)大數(shù)據(jù)技術(shù)來(lái)完成各項(xiàng)工作，比如大數(shù)據(jù)在汽車制造業(yè)中的應(yīng)用，福特汽車的產(chǎn)品開(kāi)發(fā)團(tuán)隊(duì)曾經(jīng)就對(duì)汽車行李箱的打開(kāi)形式進(jìn)行研究。車后行李箱的打開(kāi)有兩種形式手動(dòng)式和電動(dòng)式，如果采用電動(dòng)式，能自動(dòng)打開(kāi)、便捷智能，但是這種方式會(huì)影響到車門開(kāi)啟有限的困擾。此前采用定期調(diào)查的形式并沒(méi)有發(fā)現(xiàn)這個(gè)問(wèn)題，但后來(lái)對(duì)社交媒體的關(guān)注和分析，發(fā)現(xiàn)很多用戶在談?wù)撨@個(gè)問(wèn)題，這對(duì)福特汽車以后的產(chǎn)品設(shè)計(jì)是非常有幫助的。

數(shù)據(jù)分析是大數(shù)據(jù)技術(shù)的核心，通過(guò)對(duì)相關(guān)數(shù)據(jù)的分析產(chǎn)生有價(jià)值的信息是大數(shù)據(jù)技術(shù)的關(guān)鍵。通過(guò)對(duì)數(shù)據(jù)的分析，可以產(chǎn)生有價(jià)值的規(guī)律和結(jié)果并輔助人們進(jìn)行更為合理的決策。在大數(shù)據(jù)分析方面除了傳統(tǒng)的技術(shù)外，人工智能技術(shù)鄰域的很多方法被用得越來(lái)越多，包括統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等。數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的，但又是潛在有用信息和知識(shí)的過(guò)程。統(tǒng)計(jì)分析就是基于數(shù)學(xué)鄰域的統(tǒng)計(jì)學(xué)原理，對(duì)數(shù)據(jù)進(jìn)行收集、組織和解釋的科學(xué)。機(jī)器學(xué)習(xí)作為人工智能鄰域的重要內(nèi)容，分為監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)兩大類。[3]常見(jiàn)的方法包括聚類算法、預(yù)測(cè)算法、回歸算法、樸素貝葉斯算法、支持向量機(jī)算法等。這些算法往往需要較大的計(jì)算資源和較強(qiáng)的計(jì)算能力，云計(jì)算正好滿足了大數(shù)據(jù)技術(shù)在這個(gè)方面的需求。

2 移動(dòng)云計(jì)算技術(shù)

云計(jì)算已經(jīng)發(fā)展成為IT行業(yè)的一個(gè)熱門技術(shù)，目前的主要云計(jì)算設(shè)備和服務(wù)都是針對(duì)PC機(jī)而言的，但是隨著無(wú)線路由的快速普及以及無(wú)線終端設(shè)備的大量出現(xiàn)，將云計(jì)算運(yùn)用于移動(dòng)環(huán)境是必然的發(fā)展趨勢(shì)。根據(jù)相關(guān)的數(shù)據(jù)統(tǒng)計(jì)，全國(guó)的移動(dòng)電話用戶累計(jì)達(dá)到10億以上，現(xiàn)有的終端計(jì)算能力、存儲(chǔ)容量都是非常有限的，已經(jīng)難以滿足很多用戶的需求，而云計(jì)算恰好能給用戶提供服務(wù)。云計(jì)算是一種新型的應(yīng)用模式，通過(guò)網(wǎng)絡(luò)按需實(shí)現(xiàn)軟件處理能力、存儲(chǔ)資源等。[4]移動(dòng)云計(jì)算正是基于云計(jì)算的概念出現(xiàn)的，它結(jié)合了移動(dòng)網(wǎng)絡(luò)和云計(jì)算的概念。移動(dòng)云計(jì)算通過(guò)移動(dòng)的終端用戶進(jìn)行網(wǎng)絡(luò)互連，并以按需、易擴(kuò)展的方式獲得所需的基礎(chǔ)設(shè)施、平臺(tái)等相關(guān)的網(wǎng)絡(luò)資源和信息。

云計(jì)算的一個(gè)主要優(yōu)點(diǎn)就是在“云端”提供了大容量的存儲(chǔ)空間和高速的計(jì)算能力。即使客戶端的移動(dòng)設(shè)備本身性能不夠，但是只要能進(jìn)行數(shù)據(jù)的輸入、輸出，就可以和云端進(jìn)行交互，讓云端提供計(jì)算和處理服務(wù)得到客戶想要的結(jié)果。移動(dòng)云計(jì)算的特點(diǎn)是終端硬件及系統(tǒng)無(wú)關(guān)性，這是因?yàn)榻K端不進(jìn)行真正的大量計(jì)算和數(shù)據(jù)的存儲(chǔ)，而是通過(guò)移動(dòng)網(wǎng)絡(luò)把數(shù)據(jù)和計(jì)算任務(wù)上傳到云端讓云端來(lái)進(jìn)行計(jì)算和處理。移動(dòng)云計(jì)算還消除了計(jì)算的地域性限制，普通的云計(jì)算由于終端設(shè)備的地理位置固定，給很多的實(shí)際應(yīng)用帶來(lái)不便，但是移動(dòng)云計(jì)算可以通過(guò)移動(dòng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸和計(jì)算。如果移動(dòng)網(wǎng)絡(luò)有足夠的帶寬，那么移動(dòng)云計(jì)算就能實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)計(jì)算，讓客戶在終端或者手機(jī)上看到最及時(shí)的處理結(jié)果。

移動(dòng)云計(jì)算中比較成熟的應(yīng)用有移動(dòng)云存儲(chǔ)。目前，很多公司推出了自己的移動(dòng)云存儲(chǔ)服務(wù)，在移動(dòng)云上可以存放照片、文檔、郵件、視頻等相關(guān)內(nèi)容。傳統(tǒng)的存儲(chǔ)方法是客戶在存儲(chǔ)資料時(shí)，都是通過(guò)U盤或是硬盤等存儲(chǔ)設(shè)備。這種存儲(chǔ)方式有明顯的缺c，當(dāng)U盤或是硬盤丟失、損壞或是忘記隨身攜帶等，都可能造成想要取出存儲(chǔ)資料卻取不出來(lái)的狀況。移動(dòng)云存儲(chǔ)是把資料上傳到網(wǎng)絡(luò)上的移動(dòng)云存儲(chǔ)服務(wù)器，只要能上網(wǎng)可以隨時(shí)隨地取出存儲(chǔ)資料，不用擔(dān)心資料的丟失或損壞。基于移動(dòng)云計(jì)算的移動(dòng)商務(wù)是商業(yè)發(fā)展的新模式。隨著移動(dòng)終端設(shè)備的大量使用，很多商務(wù)都是在網(wǎng)絡(luò)上進(jìn)行操作的，例如購(gòu)物網(wǎng)站、微信支付等。除此之外移動(dòng)云計(jì)算在醫(yī)療、郵件推送、遠(yuǎn)程教育等方面都有著非常成功的應(yīng)用。

3 大數(shù)據(jù)與移動(dòng)云計(jì)算

本地單機(jī)的數(shù)據(jù)處理模式成本越來(lái)越高，而且擴(kuò)展性比較差，并且隨著要處理的數(shù)據(jù)量不斷增加特別是對(duì)于大數(shù)據(jù)的應(yīng)用，相應(yīng)的處理性能會(huì)遇到瓶頸，在這種情況下，出現(xiàn)了云計(jì)算技術(shù)。云計(jì)算具備了較好的彈性，在動(dòng)態(tài)調(diào)配資源、支持多用戶按需工作等特點(diǎn)正好符合了大數(shù)據(jù)的應(yīng)用需求。云計(jì)算以其高可靠性、強(qiáng)大的計(jì)算能力和海量的存儲(chǔ)空間成為解決大數(shù)據(jù)問(wèn)題的重要技術(shù)，但是云計(jì)算不能在動(dòng)態(tài)系統(tǒng)中進(jìn)行應(yīng)用，這使得移動(dòng)云計(jì)算成為云計(jì)算新的發(fā)展方向，特別是移動(dòng)終端可以方便地通過(guò)無(wú)線網(wǎng)絡(luò)上網(wǎng)來(lái)使用移動(dòng)云計(jì)算提供的各種服務(wù)。

大數(shù)據(jù)的落腳點(diǎn)在于“數(shù)據(jù)”，提供了對(duì)數(shù)據(jù)操作的各種方法，包括對(duì)數(shù)據(jù)的采集、分析、挖掘、存儲(chǔ)等。移動(dòng)云計(jì)算更多體現(xiàn)在“計(jì)算”，看重的是通過(guò)互聯(lián)網(wǎng)產(chǎn)生的計(jì)算能力，移動(dòng)云計(jì)算中很多的相關(guān)技術(shù)正是大數(shù)據(jù)技術(shù)的基礎(chǔ)。大數(shù)據(jù)技術(shù)首先要有大量的存儲(chǔ)數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)的傳統(tǒng)方法是數(shù)據(jù)庫(kù)技術(shù)，但是現(xiàn)在的數(shù)據(jù)量越來(lái)越大，已經(jīng)超過(guò)了傳統(tǒng)數(shù)據(jù)庫(kù)的存儲(chǔ)模式，而移動(dòng)云計(jì)算正好給這些數(shù)據(jù)的存儲(chǔ)提供了空間。其次是對(duì)大量數(shù)據(jù)的初步操作包括數(shù)據(jù)的提取、標(biāo)注、表達(dá)等，移動(dòng)云計(jì)算通過(guò)互聯(lián)網(wǎng)可以把這些任務(wù)進(jìn)行分解，分成許多較小的數(shù)據(jù)處理任務(wù)并分配給網(wǎng)絡(luò)中的很多移動(dòng)終端用戶，讓他們?cè)诳臻e的時(shí)候處理這些任務(wù)。最后是對(duì)移動(dòng)云上存儲(chǔ)的大量數(shù)據(jù)進(jìn)行分析，分析的手段包括數(shù)據(jù)過(guò)濾、數(shù)據(jù)分類、數(shù)據(jù)聚類等，移動(dòng)云計(jì)算同樣可以像上邊那樣把任務(wù)進(jìn)行分解并在網(wǎng)絡(luò)中尋找空閑的處理設(shè)備輔助完成這些任務(wù)。

基于移釉萍撲慵際豕鉤傻拇笫據(jù)系統(tǒng)，能夠提供大數(shù)據(jù)處理所需要的相關(guān)技術(shù)。大數(shù)據(jù)與移動(dòng)云計(jì)算的結(jié)合，將是相得益彰，相互都可以更好地發(fā)揮作用。移動(dòng)云計(jì)算為大數(shù)據(jù)提供強(qiáng)大的存儲(chǔ)和計(jì)算能力，更加迅速便捷完成大數(shù)據(jù)的處理任務(wù)，而大數(shù)據(jù)的相關(guān)業(yè)務(wù)能為移動(dòng)云計(jì)算找到更多更好的實(shí)際應(yīng)用。

大數(shù)據(jù)和移動(dòng)云計(jì)算在氣象領(lǐng)域的應(yīng)用，以前的氣象服務(wù)信息大多只是將氣象的監(jiān)測(cè)數(shù)據(jù)提供給用戶，由用戶自己去綜合使用，這顯然僅僅是氣象預(yù)報(bào)產(chǎn)業(yè)中的初級(jí)階段。現(xiàn)在，人們通過(guò)移動(dòng)網(wǎng)絡(luò)可以及時(shí)獲得氣溫、紫外線指數(shù)、感冒指數(shù)、晨練指數(shù)、洗車指數(shù)等更精細(xì)化的氣象信息，并利用大數(shù)據(jù)分析軟件可以獲得更多的用戶想知道的數(shù)據(jù)信息，體現(xiàn)出單一數(shù)據(jù)無(wú)法表達(dá)的價(jià)值和效益。

社交網(wǎng)絡(luò)是現(xiàn)在人們溝通的主要形式之一，用戶通過(guò)移動(dòng)終端使用社交網(wǎng)絡(luò)，伴隨著用戶的社交過(guò)程會(huì)產(chǎn)生大量的數(shù)據(jù)，通過(guò)大數(shù)據(jù)的分析技術(shù)可以發(fā)現(xiàn)一個(gè)人和另一個(gè)人是怎么樣聯(lián)系上的，另外也可以通過(guò)兩個(gè)人的社交關(guān)系，找到讓他們進(jìn)行聯(lián)系的渠道。不管我們?cè)谑褂梦⑿排笥讶€是微博賬戶，軟件系統(tǒng)經(jīng)常會(huì)提示我們哪個(gè)人可能是我們的朋友或者是同學(xué)，給你一個(gè)加入好友的提示，這就是大數(shù)據(jù)與移動(dòng)云計(jì)算相結(jié)合應(yīng)用的一個(gè)實(shí)例。

地圖導(dǎo)航古已有之，而發(fā)展到今天的電子地圖導(dǎo)航更成為人們出行旅游的指南針。用戶使用移動(dòng)終端比如手機(jī)、平板電腦通過(guò)移動(dòng)互聯(lián)網(wǎng)把自己的實(shí)時(shí)地理位置信息傳送到網(wǎng)絡(luò)上，由此可以進(jìn)行打車、聚會(huì)、餐飲、購(gòu)物、汽車導(dǎo)航等應(yīng)用。大數(shù)據(jù)技術(shù)通過(guò)分析可以知道在哪些地方，什么樣的服務(wù)是在這個(gè)地理位置上的人最需要的，移動(dòng)云計(jì)算把這樣的消息出去后，可以給我們提供最便利的服務(wù)。比如在商場(chǎng)附近可能有更多的人需要打車，在人煙稀少的地方可能有更多的人需要方向?qū)Ш降取?/p>

醫(yī)療行業(yè)具有數(shù)據(jù)量大、復(fù)雜性高等特點(diǎn)，醫(yī)療行業(yè)被認(rèn)為是最能讓大數(shù)據(jù)分析技術(shù)發(fā)揚(yáng)光大的一個(gè)傳統(tǒng)領(lǐng)域。移動(dòng)云計(jì)算利用移動(dòng)終端可以隨時(shí)采集病人的相關(guān)數(shù)據(jù)信息，比如脈搏、血壓、照片等，這些數(shù)據(jù)隨著時(shí)間的推移將構(gòu)成海量的數(shù)據(jù)。此外，醫(yī)生對(duì)于病人的診斷結(jié)果也會(huì)保存在移動(dòng)云存儲(chǔ)中，當(dāng)同樣類型的病癥再次出現(xiàn)的時(shí)候，移動(dòng)終端可以根據(jù)大數(shù)據(jù)的分析技術(shù)給病人提出最合理的治療建議。這樣既節(jié)省了醫(yī)生的人力資源，又節(jié)省了病人排隊(duì)等待的時(shí)間，更能在第一時(shí)間解決病人的病情。麥肯錫的報(bào)告中指出，大數(shù)據(jù)技術(shù)可以幫助美國(guó)的醫(yī)療行業(yè)一年創(chuàng)造3千億美元的附加價(jià)值。

大數(shù)據(jù)利用了移動(dòng)云計(jì)算的方便性，可以隨時(shí)隨地對(duì)數(shù)據(jù)進(jìn)行處理并提供了及時(shí)的服務(wù)，移動(dòng)云計(jì)算通過(guò)大數(shù)據(jù)找到了更好的應(yīng)用方向。沒(méi)有大數(shù)據(jù)對(duì)于大量信息的積累，移動(dòng)云計(jì)算的計(jì)算能力再?gòu)?qiáng)也找不到用武之地，同樣如果沒(méi)有移動(dòng)云計(jì)算的強(qiáng)大計(jì)算能力，那么大數(shù)據(jù)積累的大量信息也毫無(wú)價(jià)值。

4 總結(jié)

如果說(shuō)大數(shù)據(jù)是巨大的寶藏，那么移動(dòng)云計(jì)算是開(kāi)發(fā)這個(gè)寶藏的最有利的工具。沒(méi)有移動(dòng)云計(jì)算的強(qiáng)大計(jì)算能力，那么大數(shù)據(jù)中的相關(guān)數(shù)據(jù)就是一堆毫無(wú)用處的冗余數(shù)據(jù)。另一方面移動(dòng)云計(jì)算也正是由于大數(shù)據(jù)的信息量大，本地單機(jī)處理能力有限才發(fā)展起來(lái)的，沒(méi)有大數(shù)據(jù)的信息累積，那么移動(dòng)云計(jì)算也得不到完全的發(fā)揮，所以大數(shù)據(jù)與移動(dòng)云計(jì)算是相輔相成的關(guān)系。

參考文獻(xiàn)：

[1] 趙華， 王海闊. 移動(dòng)云計(jì)算綜述[J]. 電腦知識(shí)與技術(shù)， 2012（1）.

[2] 何清. 大數(shù)據(jù)與云計(jì)算[J]. 中國(guó)安防， 2014（1）.

[3] 張峰軍. 大數(shù)據(jù)技術(shù)研究綜述[J]. 通信技術(shù)， 2014（11）.

篇5

大數(shù)據(jù)（bigdata）是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。

云計(jì)算(cloudcomputing)是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，進(jìn)入可配置的計(jì)算資源共享池(資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù))，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。

二者：大數(shù)據(jù)需要云計(jì)算，云計(jì)算需要大數(shù)據(jù)

云計(jì)算為大數(shù)據(jù)處理提供了一個(gè)很好的平臺(tái)。云計(jì)算強(qiáng)調(diào)的是計(jì)算，而大數(shù)據(jù)則是計(jì)算的對(duì)象。如果結(jié)合實(shí)際的應(yīng)用，前者強(qiáng)調(diào)的是計(jì)算能力，后者看重的存儲(chǔ)能力。

（來(lái)源：文章屋網(wǎng) ）