大數(shù)據(jù)基礎(chǔ)架構(gòu)總結(jié)

大多數(shù)的技術(shù)突破來(lái)源于實(shí)際的產(chǎn)品需要，大數(shù)據(jù)最初誕生于谷歌的搜索引擎中。隨著web2.0時(shí)代的發(fā)展，互聯(lián)網(wǎng)上數(shù)據(jù)量呈獻(xiàn)爆炸式的增長(zhǎng)，為了滿(mǎn)足信息搜索的需要，對(duì)大規(guī)模數(shù)據(jù)的存儲(chǔ)提出了非常強(qiáng)勁的需要。基于成本的考慮，通過(guò)提升硬件來(lái)解決大批量數(shù)據(jù)的搜索越來(lái)越不切實(shí)際，于是谷歌提出了一種基于軟件的可靠文件存儲(chǔ)體系GFS，使用普通的PC機(jī)來(lái)并行支撐大規(guī)模的存儲(chǔ)。存進(jìn)去的數(shù)據(jù)是低價(jià)值的，只有對(duì)數(shù)據(jù)進(jìn)行過(guò)加工才能滿(mǎn)足實(shí)際的應(yīng)用需要，于是谷歌又創(chuàng)造了MapReduce這一計(jì)算模型，該模型能夠利用集群的力量將復(fù)雜的運(yùn)算拆分到每一臺(tái)普通PC上，計(jì)算完成后通過(guò)匯總得到最終的計(jì)算結(jié)果，這樣就能夠通過(guò)直接增加機(jī)器數(shù)量就獲得更好的運(yùn)算能力了。

有了GFS和MapReduce之后，文件的存儲(chǔ)和運(yùn)算得到了解決，這時(shí)候又出現(xiàn)了新的問(wèn)題。GFS的隨機(jī)讀寫(xiě)能力很差，而谷歌有需要一種來(lái)存放格式化數(shù)據(jù)的數(shù)據(jù)庫(kù)，原本通過(guò)單機(jī)的數(shù)據(jù)庫(kù)就能解決的問(wèn)題到了谷歌那里就悲劇了，于是神器的谷歌就又開(kāi)發(fā)了一套BigTable系統(tǒng)，利用GFS的文件存儲(chǔ)系統(tǒng)外加一個(gè)分布式的鎖管理系統(tǒng)Chubby就設(shè)計(jì)出來(lái)了BigTable這樣一個(gè)列式的數(shù)據(jù)庫(kù)系統(tǒng)。

在谷歌完成了上述的系統(tǒng)后，就把其中的思想作為論文發(fā)布出來(lái)了，基于這些論文，出現(xiàn)了一個(gè)用JAVA寫(xiě)的類(lèi)GFS開(kāi)源項(xiàng)目Hadoop，最開(kāi)始hadoop的贊助人是yahoo，后來(lái)這個(gè)項(xiàng)目成了Apche的頂級(jí)項(xiàng)目。

大數(shù)據(jù)的解決方案：

谷歌的那一套系統(tǒng)是閉源的，開(kāi)源的Hadoop于是就廣泛傳播開(kāi)來(lái)了。

和谷歌那套系統(tǒng)類(lèi)似，Hadoop的最核心的存儲(chǔ)層叫做HDFS，全稱(chēng)是Hadoop文件存儲(chǔ)系統(tǒng)，有了存儲(chǔ)系統(tǒng)還要有分析系統(tǒng)，于是就有了開(kāi)源版本的MapReduce，類(lèi)似的參照BigTable就有了Hbase。一開(kāi)源之后整個(gè)系統(tǒng)用的人就多了，于是大家都像要各種各樣的特性。facebook的那些人覺(jué)得mapreduce程序太難寫(xiě)，于是就開(kāi)發(fā)了Hive，Hive就是一套能把SQL語(yǔ)句轉(zhuǎn)成Mapreduce的工具，有了這套工具只要你會(huì)SQL就可以來(lái)Hadoop上寫(xiě)mapreduce程序分析數(shù)據(jù)了。對(duì)了，參考chubby，我們有了開(kāi)源的ZooKeeper來(lái)作為分布式鎖服務(wù)的提供者。

由于Hadoop最開(kāi)始設(shè)計(jì)是用來(lái)跑文件的，對(duì)于數(shù)據(jù)的批處理來(lái)說(shuō)這沒(méi)什么問(wèn)題，有一天突然大家想要一個(gè)實(shí)時(shí)的查詢(xún)服務(wù)，數(shù)據(jù)這么大，要滿(mǎn)足實(shí)時(shí)查詢(xún)首先要拋開(kāi)的是mapreduce，因?yàn)樗娴暮寐?008年的時(shí)候一家叫Cloudera的公司出現(xiàn)了，他們的目標(biāo)是要做hadoop界的redhat，把各種外圍系統(tǒng)打包進(jìn)去組成一個(gè)完整的生態(tài)系統(tǒng)，后來(lái)他們開(kāi)發(fā)出來(lái)了impala，impala的速度比mapreduce在實(shí)時(shí)分析上的效率有了幾十倍的提升，后來(lái)hadoop的創(chuàng)始人Doug Cutting也加入了cloudera。這時(shí)候?qū)W院派也開(kāi)始發(fā)力了，加州大學(xué)伯克利分校開(kāi)發(fā)出來(lái)了Spark來(lái)做實(shí)時(shí)查詢(xún)處理，剛開(kāi)始Spark的語(yǔ)法好詭異，后來(lái)慢慢出現(xiàn)了Shark項(xiàng)目，漸漸的使得Spark向SQL語(yǔ)法靠近。

未來(lái)的發(fā)展趨勢(shì)：

時(shí)代的發(fā)展決定了未來(lái)幾乎就要變成數(shù)據(jù)的時(shí)代了，在這樣的一個(gè)時(shí)代，大數(shù)據(jù)的需求越來(lái)越深，摒棄過(guò)去的抽樣調(diào)查，改為全量的統(tǒng)計(jì)分析，從一些原本無(wú)意義的數(shù)據(jù)中挖掘價(jià)值。當(dāng)前大數(shù)據(jù)已經(jīng)開(kāi)始逐漸服務(wù)于我們的生活，搜索、科學(xué)、用戶(hù)分析。。。

為了進(jìn)一步提供大數(shù)據(jù)的分析能力，內(nèi)存計(jì)算的概念在未來(lái)還會(huì)持續(xù)很長(zhǎng)的時(shí)間，通過(guò)內(nèi)存計(jì)算，摒棄磁盤(pán)IO對(duì)性能的天花板作用，將運(yùn)算的結(jié)果以實(shí)時(shí)的方式呈獻(xiàn)在我們面前。