阿拉?。ˋladdin）系統(tǒng)的繁榮，印證著科技改變了華爾街的證券規(guī)則。

王樑，數(shù)據(jù)庫領(lǐng)域資深專家。從事IT行業(yè)18年，曾擔(dān)任北京電信數(shù)據(jù)中心運(yùn)維經(jīng)理，中科軟科技股份有限公司項(xiàng)目經(jīng)理；參與國家減災(zāi)中心數(shù)據(jù)中心、某省公安廳數(shù)據(jù)中心等項(xiàng)目的規(guī)劃及建設(shè)工作。該系統(tǒng)將復(fù)雜的風(fēng)險(xiǎn)分析與綜合投資組合交易整合在一個(gè)平臺(tái)上，可以達(dá)成每天監(jiān)測2000+風(fēng)險(xiǎn)因素，每周進(jìn)行5000次投資組合壓力測試和1.8億次期權(quán)調(diào)整計(jì)算，為逾100個(gè)國家/地區(qū)的機(jī)構(gòu)提供服務(wù)，全球依賴這一平臺(tái)運(yùn)作的資金規(guī)模超過15萬億美元。同樣，在全球智能投顧領(lǐng)域，Wealthfront是一個(gè)令無數(shù)金融機(jī)構(gòu)難以望其項(xiàng)背的名字。其客戶就職最多的企業(yè)依次是Google、Facebook、LinkedIn、Microsoft、Twitter等。與“人機(jī)混合”模式的智能投顧不同，Wealthfront身體力行地將金融民主化的理想變成現(xiàn)實(shí)，始終站在客戶的角度，最大化客戶利益。

讓每個(gè)人都能實(shí)時(shí)看到同樣高質(zhì)量的數(shù)據(jù)，源于金融信息化從面向流程驅(qū)動(dòng)轉(zhuǎn)向面向數(shù)據(jù)化驅(qū)動(dòng)，才能實(shí)時(shí)進(jìn)行前端的個(gè)性化處置。本質(zhì)是金融業(yè)務(wù)底層的基礎(chǔ)設(shè)施發(fā)生了變遷。

DT對IT的斷崖式洗牌
金融業(yè)務(wù)底層基礎(chǔ)設(shè)施發(fā)生的變遷，源于DT對IT的斷崖式洗牌。首先，算法上摩爾定律失效，不再依靠單個(gè)算法性能優(yōu)化提升，而是通過大規(guī)模分布式，以及大規(guī)模協(xié)同算力來提示算法的效率和性能；其次，互聯(lián)網(wǎng)帶來數(shù)據(jù)實(shí)時(shí)消費(fèi)需求，行為生產(chǎn)的數(shù)據(jù)被即席處理消費(fèi)，個(gè)人點(diǎn)擊流的行為被用作個(gè)性化商品推薦，爆發(fā)第三波行為數(shù)據(jù)紅利；最后，算法重構(gòu)世界，在今天的數(shù)字經(jīng)濟(jì)中，很多基于經(jīng)驗(yàn)規(guī)則流程的商業(yè)實(shí)踐，甚至一些物理的公理定理，都開始讓位于數(shù)據(jù)和算法所訓(xùn)練生成的新的知識(shí)。這是兩個(gè)賽道的技術(shù)，原來的流程驅(qū)動(dòng)的業(yè)務(wù)Java代碼可復(fù)用，形成IT時(shí)代的信息化系統(tǒng)，而數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)是輸入、輸出一體化，將數(shù)據(jù)、程序和商業(yè)結(jié)果一起輸入，通過智能化系統(tǒng)來生產(chǎn)出程序，形成DT時(shí)代的智能化服務(wù)應(yīng)用。面向資源服務(wù)的虛擬化被面向服務(wù)的容器化替代，面向數(shù)據(jù)可視化、面向分析的BI操作被面向執(zhí)行的AI所替代。以****為例，如今****開始互聯(lián)網(wǎng)的消費(fèi)化，越來越強(qiáng)調(diào)體驗(yàn)的實(shí)時(shí)性，交易和分析場景必須一致。傳統(tǒng)的解決方案，一般都是采用數(shù)據(jù)倉庫T+1匯聚交易數(shù)據(jù)，進(jìn)行復(fù)雜分析，形成分析結(jié)果。分析結(jié)果如果需要支持高并發(fā)服務(wù)應(yīng)用，就要導(dǎo)入一個(gè)關(guān)系型數(shù)據(jù)庫，支持高并發(fā)應(yīng)用服務(wù)。在這個(gè)傳統(tǒng)解決方案中，數(shù)據(jù)需要從業(yè)務(wù)系統(tǒng)遷移到數(shù)據(jù)倉庫中，分析結(jié)果還需要從數(shù)據(jù)倉庫再遷移到關(guān)系型數(shù)據(jù)庫中，支持高并發(fā)數(shù)據(jù)服務(wù)，因此數(shù)據(jù)需要在這三個(gè)數(shù)據(jù)庫之間進(jìn)行傳輸，這種數(shù)據(jù)傳輸產(chǎn)生數(shù)據(jù)量大、延遲高、數(shù)據(jù)冗余等問題。要是在分析任務(wù)有所變更的情況下，代價(jià)會(huì)更大。當(dāng)今業(yè)務(wù)日趨爭分奪秒，都期待可以突破T+1日的桎梏，走向更加實(shí)時(shí)的響應(yīng)。互聯(lián)網(wǎng)興起后，應(yīng)用程序需要每秒支持?jǐn)?shù)十萬甚至數(shù)百萬個(gè)事務(wù)，每個(gè)事務(wù)的處理延遲以毫秒為單位?；ヂ?lián)網(wǎng)帶來的行為數(shù)據(jù)要遠(yuǎn)遠(yuǎn)大于交易數(shù)據(jù)，而且需要高并發(fā)、高擴(kuò)展、更松耦合的高服務(wù)架構(gòu)能力來完成。舉個(gè)例子：****營業(yè)廳的個(gè)性化理財(cái)服務(wù)推銷，就需要大量數(shù)據(jù)倉庫中的加工分析結(jié)果數(shù)據(jù)，直接推送到一線營業(yè)廳的服務(wù)人員的終端上，進(jìn)行實(shí)時(shí)營銷處理。我們再把場景聚集到一個(gè)營業(yè)廳，假設(shè)某天營業(yè)廳應(yīng)用有六萬多人，同時(shí)在線需要至少五百個(gè)并發(fā)/秒，理財(cái)經(jīng)理要在某一時(shí)刻看到大客戶的結(jié)息、凈值等一系列的數(shù)據(jù)服務(wù)，且都是個(gè)性化的，這種個(gè)性化服務(wù)業(yè)務(wù)需求是傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)無法支撐的。首先，能夠統(tǒng)一支撐事物處理和工具負(fù)載分析的數(shù)據(jù)庫成為必須需求。我們很少看到Google宕機(jī)，因?yàn)樗皇强繂渭嚎捎眯詠肀ＷC，而是靠整個(gè)集群的服務(wù)來保證性能。在行為數(shù)據(jù)中誕生了新的架構(gòu)，就必須生成一個(gè)新的分布式架構(gòu)。近年來，混布數(shù)據(jù)庫在****承載了很大使命：一方面，滿足海量數(shù)據(jù)強(qiáng)交易場景；另一方面，權(quán)益類服務(wù)也和其他服務(wù)一樣，需要計(jì)時(shí)實(shí)時(shí)處理。****通過引入HTAP數(shù)據(jù)庫產(chǎn)品，實(shí)現(xiàn)業(yè)務(wù)交易和數(shù)據(jù)分析緊密結(jié)合，TP側(cè)支持大量交易流水存儲(chǔ)，提供交易相關(guān)的基礎(chǔ)數(shù)據(jù)；AP側(cè)滿足大數(shù)據(jù)量、復(fù)雜的SQL查詢，并支持秒級(jí)響應(yīng)，HTAP優(yōu)化的融合架構(gòu)提供更高的處理時(shí)效并減少數(shù)據(jù)副本存儲(chǔ)量。其次，數(shù)據(jù)使用者發(fā)生變化，實(shí)時(shí)高并發(fā)處理成為常態(tài)。數(shù)據(jù)生產(chǎn)方式的變化導(dǎo)致數(shù)據(jù)使用者也發(fā)生變化。傳統(tǒng)的數(shù)據(jù)消費(fèi)者是決策者，領(lǐng)導(dǎo)根據(jù)數(shù)據(jù)分析結(jié)果進(jìn)行宏觀決策服務(wù)。在個(gè)性化服務(wù)的時(shí)代，數(shù)據(jù)的消費(fèi)者不再是少數(shù)領(lǐng)導(dǎo)者，還有一線服務(wù)人員，一線人員根據(jù)數(shù)據(jù)分析結(jié)果實(shí)現(xiàn)個(gè)性化服務(wù)，這讓高并發(fā)和實(shí)時(shí)處理成為常態(tài)。如圖1所示，在某行****中心項(xiàng)目中，將****核心系統(tǒng)、信審無紙化系統(tǒng)、客戶決策管理系統(tǒng)的數(shù)據(jù)通過數(shù)據(jù)同步工具與在線交易系統(tǒng)聯(lián)通后，存入HTAP數(shù)據(jù)庫，來同時(shí)支撐簡單查詢與統(tǒng)計(jì)分析。）

圖1 某行****中心全量數(shù)據(jù)在線應(yīng)用最后，使用“流批一體”的方式支撐數(shù)據(jù)分析（離線數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)）、機(jī)器學(xué)習(xí)、圖計(jì)算等多條數(shù)據(jù)流程。在傳統(tǒng)解決方案中，批計(jì)算平臺(tái)和流計(jì)算平臺(tái)是兩套不同的架構(gòu)體系，批計(jì)算平臺(tái)一般是大數(shù)據(jù)平臺(tái)或者是數(shù)據(jù)倉庫進(jìn)離線加工處理；流計(jì)算平臺(tái)一般會(huì)采用Flink的框架計(jì)算實(shí)時(shí)處理；由于是兩條系統(tǒng)、兩套算子、兩套UDF、兩套計(jì)算邏輯，一定會(huì)產(chǎn)生不同程度的誤差，這些誤差給業(yè)務(wù)方帶來了非常大的困擾。這些誤差不是簡單依靠人力或者資源的投入就可以解決的。因此，要構(gòu)建“流批一體”服務(wù)平臺(tái)，支撐實(shí)時(shí)分析、實(shí)時(shí)營銷等算法模型的應(yīng)用，通過混布的HTAP數(shù)據(jù)庫將面向管理的“分析”與面向應(yīng)用的實(shí)時(shí)“處理”，以及面向AI的模型訓(xùn)練與圖算法等通過數(shù)據(jù)庫實(shí)現(xiàn)融合，可以解決困擾用戶的架構(gòu)難題。試想一下場景：授信企業(yè)將所獲貸款挪為他用，投資高風(fēng)險(xiǎn)渠道且投資失敗，所貸款項(xiàng)全部虧損，不僅影響了企業(yè)的再生產(chǎn)和經(jīng)營過程，而且影響到整個(gè)產(chǎn)業(yè)供應(yīng)鏈的正常運(yùn)作。不是傳統(tǒng)分析不能解決，而是在實(shí)際業(yè)務(wù)辦理過程中，供應(yīng)鏈金融關(guān)系錯(cuò)綜復(fù)雜，不是簡單分析能呈現(xiàn)的。伴隨著社會(huì)生活和經(jīng)濟(jì)發(fā)展模式的全面轉(zhuǎn)型，為從數(shù)據(jù)中獲取更多價(jià)值，已經(jīng)開始需要使用圖數(shù)據(jù)庫獲取深層次的統(tǒng)計(jì)信息。比起傳統(tǒng)的信息存儲(chǔ)和組織模式，圖數(shù)據(jù)庫能夠很清晰地揭示復(fù)雜的模式，尤其在錯(cuò)綜復(fù)雜的金融風(fēng)控業(yè)務(wù)上效果更為明顯，可謂是一圖勝過千言萬語。能支持流批一體的數(shù)據(jù)庫，更善于處理大量的、復(fù)雜的、互聯(lián)的、多變的網(wǎng)狀數(shù)據(jù)，其效率遠(yuǎn)高于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的百倍、千倍甚至萬倍。如圖2所示，在實(shí)際智能權(quán)益服務(wù)平臺(tái)項(xiàng)目中，將用戶的行為數(shù)據(jù)、實(shí)時(shí)的交易數(shù)據(jù)以及地理數(shù)據(jù)、賬戶數(shù)據(jù)和外部數(shù)據(jù)一起通過“流批一體”匯入HTAP分布式數(shù)據(jù)庫，來支撐智能權(quán)益推薦與營銷活動(dòng)策劃等實(shí)時(shí)應(yīng)用。

圖2 智能權(quán)益服務(wù)平臺(tái)“流批一體”實(shí)時(shí)應(yīng)用

AI-Native數(shù)據(jù)庫正在打造新一代金融基礎(chǔ)設(shè)施

如圖3所示，“BigIdeas 2021”提出“Deep Learning”概念，即軟件2.0時(shí)代。在軟件2.0時(shí)代，數(shù)據(jù)結(jié)構(gòu)開始基礎(chǔ)設(shè)施化，同時(shí)高精尖的算法學(xué)習(xí)流水線化。

圖3 Deep Learning Is Software 2.0

軟件工程逐步由程序員個(gè)體腦力勞動(dòng)生產(chǎn)，轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的算法應(yīng)用自動(dòng)生產(chǎn)，軟件將進(jìn)入AI規(guī)?；a(chǎn)階段。首先，人工智能做了一次表達(dá)能力的升級(jí)。我們所熟知的“Google 語音識(shí)別”還有“波士頓機(jī)器人運(yùn)動(dòng)姿態(tài)”都說明一個(gè)問題：算法具有極強(qiáng)的跨行業(yè)屬性，人工智能可以借數(shù)學(xué)語言通達(dá)感官遠(yuǎn)遠(yuǎn)不及的世界而仍保真。巴塞爾協(xié)議對我們的啟示是：預(yù)期損失是可以量化的，即預(yù)期損失率（EL）=違約概率（PD）*違約損失率（LGD）。這需要借助科技工具，精準(zhǔn)的對信用進(jìn)行量化，找到需求風(fēng)險(xiǎn)和利潤間的平衡點(diǎn)。AI的強(qiáng)項(xiàng)在于可以以極低成本發(fā)現(xiàn)信用風(fēng)險(xiǎn)。通過自動(dòng)化特征工程與自動(dòng)化機(jī)器學(xué)習(xí)建模，依靠海量數(shù)據(jù)和強(qiáng)大的分析能力，簡化模型生產(chǎn)流程，提升算法性能，建立起更全面、更客觀的信用體系，是金融機(jī)構(gòu)與信用風(fēng)險(xiǎn)測評之間的紐帶。我們曾在證監(jiān)會(huì)共建的金融實(shí)驗(yàn)室對56000+資管產(chǎn)品做模型預(yù)測，模型預(yù)測準(zhǔn)確率高達(dá)80%，在第一次實(shí)踐應(yīng)用中找準(zhǔn)4支兌付風(fēng)險(xiǎn)，在第二次實(shí)踐應(yīng)用中找準(zhǔn)7支。要知道，金融機(jī)構(gòu)發(fā)生的風(fēng)險(xiǎn)所帶來的后果，往往超過對其自身的影響。因此預(yù)測風(fēng)險(xiǎn)值的價(jià)值遠(yuǎn)高于找準(zhǔn)風(fēng)險(xiǎn)，這也是人工智能產(chǎn)品的價(jià)值。通過人工智能可以預(yù)測出風(fēng)險(xiǎn)值的高低，當(dāng)風(fēng)險(xiǎn)高達(dá)某一數(shù)值，金融機(jī)構(gòu)就要采取相應(yīng)措施了，預(yù)防風(fēng)險(xiǎn)成為真正的事故。某券商資管圖譜的風(fēng)險(xiǎn)傳播利用復(fù)雜網(wǎng)絡(luò)作為載體，對資管業(yè)務(wù)中涉及的自然人、企業(yè)和資管產(chǎn)品之間的復(fù)雜關(guān)系進(jìn)行建模，理順資金流動(dòng)方向和風(fēng)險(xiǎn)傳遞方向，從而達(dá)到為經(jīng)營機(jī)構(gòu)預(yù)警，進(jìn)行資產(chǎn)風(fēng)險(xiǎn)防范的目的。資管圖譜方案支持全面的觀察和****資管產(chǎn)品之間的關(guān)聯(lián)關(guān)系，并對風(fēng)險(xiǎn)傳染過程進(jìn)行建模與量化。降低資管產(chǎn)品之間的風(fēng)險(xiǎn)耦合度，預(yù)防風(fēng)險(xiǎn)擴(kuò)大。在實(shí)踐應(yīng)用中，查詢層數(shù)大于二層時(shí)，相比較于傳統(tǒng)關(guān)系型數(shù)據(jù)庫查詢速度有數(shù)百倍到幾千倍的提升，千億規(guī)模的資產(chǎn)風(fēng)險(xiǎn)可以秒級(jí)發(fā)現(xiàn)。其次，人工智能中復(fù)雜網(wǎng)絡(luò)可做數(shù)據(jù)結(jié)構(gòu)升維的隱含知識(shí)表達(dá)。互聯(lián)網(wǎng)時(shí)代的到來深刻地改變了人與人之間的連接方式，同時(shí)也為在更大規(guī)模上驗(yàn)證人類網(wǎng)絡(luò)究竟有多小提供了可能。也就是說更大的網(wǎng)絡(luò)、更小的世界。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫的每次關(guān)聯(lián)都需要一次log計(jì)算，是矩陣模型的計(jì)算量的N倍，其性能嚴(yán)重下降。復(fù)雜網(wǎng)絡(luò)則不同，它可以很好地呈現(xiàn)節(jié)點(diǎn)和關(guān)系網(wǎng)絡(luò)圖譜，在面對數(shù)據(jù)多樣、復(fù)雜、孤島化，以及單一數(shù)據(jù)價(jià)值不高的應(yīng)用場景時(shí)，存在關(guān)系深度搜索、規(guī)范業(yè)務(wù)流程、規(guī)則和經(jīng)驗(yàn)性預(yù)測等需求，使用知識(shí)圖譜解決方案將帶來最佳的應(yīng)用價(jià)值。如圖4所示，在查找與節(jié)點(diǎn)A相關(guān)的節(jié)點(diǎn)B的屬性信息時(shí)，使用復(fù)雜網(wǎng)絡(luò)只需進(jìn)行一次log計(jì)算即可獲取結(jié)果，而如果要通過傳統(tǒng)數(shù)據(jù)庫的關(guān)系型模型實(shí)現(xiàn)，則需要通過至少N-1次jion才能得到結(jié)果（N=A節(jié)點(diǎn)的一度關(guān)聯(lián)個(gè)數(shù)），可以發(fā)現(xiàn)，如果進(jìn)行大量此類結(jié)算，使用復(fù)雜網(wǎng)絡(luò)的矩陣模型在同等配置情況下將會(huì)節(jié)省大量查詢時(shí)間。

圖4 jion查詢對比示意

在證券行業(yè)，原來傘型配資在同一個(gè)實(shí)體賬戶上同時(shí)有多個(gè)配資者進(jìn)行交易，非常容易抽象的刻畫行為。但到了一個(gè)實(shí)體賬戶上，同時(shí)只有一個(gè)配資者進(jìn)行交易，大量實(shí)體賬戶被使用，隱蔽性越來越強(qiáng)，如何快速捕捉交易風(fēng)格的快速切換？深度學(xué)習(xí)通過組合底層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布特征表示。與人工規(guī)則構(gòu)成的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能豐富客戶數(shù)據(jù)的內(nèi)在信息。比如券商的智查系統(tǒng)，可以應(yīng)用深度學(xué)習(xí)孿生神經(jīng)網(wǎng)絡(luò)模型，建模識(shí)別、監(jiān)測賬戶的使用一致性，找出潛在配資行為；采用聯(lián)邦學(xué)習(xí)技術(shù)，實(shí)現(xiàn)“數(shù)據(jù)不出門，可用不可見”，在保障數(shù)據(jù)安全情況下，最大化利用行業(yè)跨機(jī)構(gòu)數(shù)據(jù)價(jià)值，充分發(fā)揮行業(yè)云的行業(yè)價(jià)值。梅特卡夫定律告訴我們，一個(gè)網(wǎng)絡(luò)的價(jià)值與聯(lián)網(wǎng)的用戶數(shù)的平方成正比。原來一個(gè)東西存在供需雙方，但在****數(shù)字經(jīng)濟(jì)下，消費(fèi)的數(shù)據(jù)也反哺給了我們，產(chǎn)銷合一，數(shù)據(jù)的消費(fèi)者即生產(chǎn)者。與此同時(shí)，支撐金融智能時(shí)代的基礎(chǔ)設(shè)施技術(shù)需要升級(jí)跨越。相信隨著人工智能認(rèn)知計(jì)算的普及落地，更多機(jī)器數(shù)據(jù)生產(chǎn)消費(fèi)，AI-Native數(shù)據(jù)庫將會(huì)主導(dǎo)和統(tǒng)一市場，成為新一代金融基礎(chǔ)設(shè)施。

結(jié)語數(shù)據(jù)庫是基礎(chǔ)軟件皇冠上的明珠，是每一家公司業(yè)務(wù)系統(tǒng)的核心。在這個(gè)賽道上，甲骨文是一座繞不開的大山，只要市場上不出現(xiàn)替代者它可以一直坐享其成。國產(chǎn)數(shù)據(jù)庫起步晚，在信息、人才、技術(shù)等多重窘境之下，很多企業(yè)采用“拿來主義”的手段彌補(bǔ)國產(chǎn)技術(shù)的空白。要么基于開源系統(tǒng)改進(jìn)，要么從廠商購買源碼授權(quán)。這有點(diǎn)像汽車產(chǎn)業(yè)，引進(jìn)的人很多，但是自主升級(jí)開發(fā)卻很難。但中國大數(shù)據(jù)云計(jì)算的發(fā)展，傳統(tǒng)數(shù)據(jù)庫技術(shù)已經(jīng)很難支撐，新一代AI原生國產(chǎn)數(shù)據(jù)庫才是新底座。達(dá)爾文說：“自然界的競爭，并無必然法則可尋，關(guān)鍵在于個(gè)體偶發(fā)，是個(gè)體自發(fā)變異主導(dǎo)著進(jìn)化的必然。”誰能提供支持混合負(fù)載的混布數(shù)據(jù)庫技術(shù)，提供流批一體技術(shù)服務(wù)，誰就能對抗西方在開源系統(tǒng)封裝服務(wù)領(lǐng)域的現(xiàn)有市場，就能定義新一代金融基礎(chǔ)設(shè)施。