作者：何鴻凌/亞信數(shù)據(jù)LDP云平臺部總經(jīng)理

　　1 分工是推動人類社會進步的原動力

　　隨著人類進步的速度不斷加快，分工不斷細化;細化以后的分工導致了更加專業(yè)的技術出現(xiàn)，更加專業(yè)的技術反過來又促進了分工的進一步細化，由此人類社會的發(fā)展變成了非線性的指數(shù)級增長模式。

　　當每個家庭不再自己磨麥子、做面包，而是從面包師手中購買以后，分工更細了，所有人的工作效率得以提升，從而整個社會的效率得以提升，人類也從農(nóng)業(yè)社會逐步過渡到工業(yè)社會，從工業(yè)社會到信息社會更是如此。

　　我們要做大數(shù)據(jù)PaaS的原因也是如此。我們認為，不久的將來，一切皆服務，一切IT也皆服務。

　　2 IT世界的分工

　　最開始做IT是在二戰(zhàn)之后的50年代，那個時代基本沒有什么分工，連軟件都是編碼在硬件之中。到了60年代，基本上操作系統(tǒng)的概念已經(jīng)非常明確了，軟件正式被從硬件中分離了出來，之后一類一類的專業(yè)軟件被分化出來：工具軟件、數(shù)據(jù)庫、中間件。

　　軟件專業(yè)化之后出現(xiàn)了部署方式的分工，標志性事件就是云計算概念的提出。其實這個概念非常早就出現(xiàn)了，但直到網(wǎng)絡帶寬可以比擬計算機內(nèi)部帶寬的時代才有了實用價值。

　　最初是IaaS，aws的一系列服務極大改變了IT的業(yè)態(tài)，創(chuàng)業(yè)公司不再租用主機設備、機房和網(wǎng)絡，而是按需購買。IaaS的分工有效解決了系統(tǒng)搭建和運維的問題，降低了創(chuàng)業(yè)公司的門檻，但這一仍還不夠。

　　接著aws推出了一些稱之為iPaaS的服務，比如 RDS和Elastic Cache。在解放了(或者說解雇了)系統(tǒng)管理員的基礎上，aws進一步解放了(或者說解雇了)平臺管理員，人們不再需要DBA之類的角色，因為aws把所有事情都統(tǒng)一做了，而且因為其規(guī)模效應而收費便宜。

　　這一切仍然不夠，人們(通常先是創(chuàng)業(yè)公司，然后是大型企業(yè))希望能更簡單、更快速，怎么辦呢?Google給出了另一個選擇--GAE服務，大體的意思是用戶提供代碼，GAE進行運行(Show me the code)。而Heroku推出的服務更是可以跟開發(fā)人員日常使用的版本管理工具git緊密結(jié)合起來，就像保存代碼到版本服務器上一樣，發(fā)布應用就完成了。這簡直是一個神奇的魔法。于是Devops、十二因子開發(fā)方法等逐漸形成。這種形態(tài)的服務可以稱之為aPaaS，因為其服務于application。

　　當然在往上還有一個最終的形態(tài)就是SaaS，所有的碼農(nóng)都被解放了(或者解雇了)，軟件通過服務的形式直接提供給最終用戶。不過軟件往往有很多個性化的東西，具備長尾現(xiàn)象，這是SaaS模式難以全部覆蓋的。

　　3 大數(shù)據(jù)的世界是如何的?

　　很有幸，2001年本人畢業(yè)就進入了BI/DW(數(shù)據(jù)倉庫與商業(yè)智能)這個領域，與數(shù)據(jù)打交道的時間超過了15年。從一個人寫統(tǒng)計分析程序，到帶領團隊建設系統(tǒng)，再到運營商總部負責全網(wǎng)BI和集中化BI的規(guī)劃，可以說從不同的角度體驗了數(shù)據(jù)分析和平臺的方方面面。

　　毫無疑問，在不久之前，這個領域的技術含量實在是少得可憐。有限的數(shù)據(jù)和有限的分析方法加上有限的需求使得建BI就是為了出報表，各個公司的BI系統(tǒng)都需要努力證明自己是有價值的。但是世界改變得很快，隨著技術的進步，大量的數(shù)據(jù)被累積下來，Hadoop等大規(guī)模并行處理的平臺被發(fā)明出來，各種使用數(shù)據(jù)的場景被一一探明?！按髷?shù)據(jù)”這個替代BI 的概念被正式提出。

　　很快，大數(shù)據(jù)領域的技術復雜度飛快地上去了，一開始大家都在搭建各種各樣的傳統(tǒng)數(shù)據(jù)庫、然后是各種各樣的MPP數(shù)據(jù)庫、接著是Hadoop中的各個組件、現(xiàn)在又都在搭建加入了實時流處理技術的lambda架構(gòu)。

　　因此，大數(shù)據(jù)的軟件專業(yè)化相比傳統(tǒng)IT的軟件專業(yè)化來得更早，時間更短。但是大數(shù)據(jù)平臺部署的專業(yè)化，只能說處于非常早期的萌芽狀態(tài)。各地方、各公司，甚至是公司中的各個部門都在重復的搭建大數(shù)據(jù)基礎平臺。

　　參考網(wǎng)上的資料和文檔自己搭建一個大數(shù)據(jù)平臺來進行測試和開發(fā)固然難度不大，但是要真正投入生產(chǎn)、進行性能調(diào)優(yōu)、保證數(shù)據(jù)安全就不是那么簡單的事情了，需要豐富的經(jīng)驗才有可能做好。如果大數(shù)據(jù)的平臺無法形成規(guī)模效益，而又想要享受所有大數(shù)據(jù)紅利的話，相當于每一個公司都在做與BAT一樣的事情，一定會忙于搭建各種硬件、大數(shù)據(jù)軟件平臺，而沒有時間精于自己的業(yè)務邏輯和分析算法，這樣想要取得成功基本是不可能的。

　　4 大數(shù)據(jù)尚未與云計算有機結(jié)合

　　早前在運營商負責全網(wǎng)BI系統(tǒng)規(guī)劃時，會頻繁遇到一個問題，各個省公司、各個部門都希望自己搭建大數(shù)據(jù)平臺，到處都缺少人才，甚至都在爭搶集成商的支持。隨著大數(shù)據(jù)技術的蓬勃發(fā)展，這個問題變得非常嚴重，關鍵在于沒有規(guī)模效益。公司能培養(yǎng)一百名大數(shù)據(jù)專家已經(jīng)非常不容易了，但是如果分散在三十一個省，又分散在其中的3個IT部門(業(yè)務支撐、網(wǎng)管支撐和管理信息支撐系統(tǒng))，那么每個部門只能分到一個人。

　　所以當時我們就開始規(guī)劃“能否實現(xiàn)平臺和應用分離?”“可否統(tǒng)一搭建一個大數(shù)據(jù)平臺，然后各個省公司、專業(yè)公司在平臺上做分析模式、搭建自己的應用?”這種集中化經(jīng)分的規(guī)劃，可能是業(yè)界第一次提出大數(shù)據(jù)能力開放平臺(PaaS)的概念。希望數(shù)據(jù)能夠集中，能力能夠集中，而應用可以分散。這樣的話既能充分發(fā)揮大數(shù)據(jù)的價值、又能達到大數(shù)據(jù)平臺的規(guī)模效益。當前這個系統(tǒng)還在建設的過程中。

　　后來我來到了亞信數(shù)據(jù)，因為我認為同樣的情況可能更廣泛的存在。如果能把大數(shù)據(jù)和云計算結(jié)合起來，將大數(shù)據(jù)能力通過云計算的模式來提供，是否可以避免各個企業(yè)、各個部門重復去搭建大數(shù)據(jù)基礎設施?如果可以按需享受到比擬BAT的頂級大數(shù)據(jù)平臺的服務，只用使用而不用維護，他們會不會Happy?這就是大數(shù)據(jù)PaaS平臺正在做的事情。這些雜七雜八專業(yè)的事情，通過分工的形式由專業(yè)的公司來進行保障，使用者只需使用即可。

　　5 數(shù)據(jù)本身，其實也是一種服務

　　大數(shù)據(jù)PaaS最重要的就是數(shù)據(jù)資源的管理，把它與大數(shù)據(jù)能力一樣看待，通通抽象成服務，即一切皆服務。誰能用這些數(shù)據(jù)，誰不能用這些數(shù)據(jù)，反應到PaaS中就是誰能訂購這些服務，而誰不能。這樣簡單的抽象簡化了系統(tǒng)的實現(xiàn)。

　　6 忙忙碌碌在干什么

　　如同開篇所說的一樣，我們認為分工是推動人類社會進步的原動力。而現(xiàn)在可以看到大數(shù)據(jù)平臺的領域中，分工并沒有達到最優(yōu)，還能看到很多簡單的重復勞動。這些勞動由于沒有達到規(guī)模效應而效率很差，造成擁有成本很高。這種高的成本導致的現(xiàn)象，就使很多企業(yè)的大數(shù)據(jù)價值無法充分發(fā)揮出來，無論是對內(nèi)大數(shù)據(jù)變現(xiàn)還是對外大數(shù)據(jù)變現(xiàn)。由于無法達成交易，整個社會的福利也因此受到了影響。

　　我們希望改變這一切，根據(jù)多年的經(jīng)驗，將大數(shù)據(jù)的PaaS平臺定位成框架、應用和服務3個方面。

　　·重型的，帶有持久化的部分作為“服務”被集成到大數(shù)據(jù)PaaS平臺中，比如MPP數(shù)據(jù)庫、Hadoop之類的就屬于此，還包括更加流行的流處理、機器學習等能力。各項能力通過一個標準的能力管理接口接入框架之中，提供了對大數(shù)據(jù)能力的透明性。采用的標準是Cloud Foundry中的service broker協(xié)議，目前版本為2.8。

　　·輕型的，不帶持久化的部分作為“應用”被集成到大數(shù)據(jù)PaaS平臺中，比如各種可視化、數(shù)據(jù)探索、推薦引擎、監(jiān)控告警等。采用的技術標準是Docker，并通過Kubernetes容器管理系統(tǒng)進行封裝。也就是說任何能跑在Docker中的應用，無論是單機的，還是集群的，均可以放心的托管到系統(tǒng)上，可擴展性和高可用性都由平臺去搞定。

　　·管理上述兩塊就是框架。它將“服務”和“應用”有機地結(jié)合在一起。并負責認證、權(quán)限、計費、審計、日志、監(jiān)控等管理。

　　毫無疑問我們采用的是一個開放的體系，因為我們認為大數(shù)據(jù)的世界如此的豐富多彩，任何一個廠家都無法提供所有的服務，開發(fā)所有的應用，開放合作可以實現(xiàn)共贏。

　　7 小結(jié)

　　知名調(diào)研公司Gartner預計，今年公共云服務方面的全球開支將增長16%，達到超過2040億美元，同時預測全球IT開支將比上一年略下降0.5%，達到3.49萬億美元。請注意這種開支的下降是在IT需求增加的背景下達成的，云計算提高社會效率可見一斑。

　　去年CSDN的調(diào)查中，發(fā)現(xiàn)全國IT人員的分布中，數(shù)據(jù)庫管理員DBA的職位比例明顯下降，這疑似被云中的各種RDS所替代。這又是云計算提高社會效率的一個例證。從個人或某個細分的職業(yè)來說，可能是悲劇，但對于社會整體來說，這是進步要付出的代價。這也提醒從事大數(shù)據(jù)職業(yè)的人群，如果工作無法達到規(guī)模效益，效率無法持續(xù)提高，那么其崗位就有被其他模式所替代的風險。

　　大數(shù)據(jù)的能力是否也能像云一樣流淌到千家萬戶?在不久的將來，是否每個公司、甚至每個個人，都可以像在BAT這樣的大公司中一樣享受低成本的大數(shù)據(jù)紅利?

　　當這種長尾的效應釋放出來的時候，世界應該會變得更加有效率。