6月2日上午，“2018數(shù)字政府與政務(wù)大數(shù)據(jù)建設(shè)高層研討會”在北京國際展覽中心召開，本次論壇由國脈數(shù)據(jù)研究院主辦，北京國脈互聯(lián)信息顧問有限公司、浙江蟠桃會網(wǎng)絡(luò)技術(shù)有限公司承辦，國脈海洋信息發(fā)展有限公司支持，來自國內(nèi)政務(wù)大數(shù)據(jù)領(lǐng)域的管理者、研究者、實踐者等數(shù)百人到場參會。
▲2018數(shù)字政府與政務(wù)大數(shù)據(jù)建設(shè)高層研討會召開
會上，北京神州云聯(lián)科技有限公司咨詢顧問張瑞飛以“大緩存、大交換、大共享”為題發(fā)表演講。他從政務(wù)大數(shù)據(jù)建設(shè)趨勢出發(fā)，深入分析我國大數(shù)據(jù)發(fā)展戰(zhàn)略在電子政務(wù)上的重點方向，并提出數(shù)字中國建設(shè)的核心能力是數(shù)據(jù)交換與共享；又從大數(shù)據(jù)業(yè)務(wù)應(yīng)用的變化出發(fā)，闡述了傳統(tǒng)大數(shù)據(jù)平臺忽略的大數(shù)據(jù)交換共享問題以及現(xiàn)有ETL數(shù)據(jù)處理不適應(yīng)數(shù)據(jù)分析業(yè)務(wù)的缺陷問題，他表示，現(xiàn)有業(yè)務(wù)需求的變化要求數(shù)據(jù)實時響應(yīng)需求，因此必須采取新一代流數(shù)據(jù)處理架構(gòu)。
以下是會議現(xiàn)場發(fā)言要點實錄（根據(jù)現(xiàn)場速記和錄音整理，未經(jīng)本人審核）：
一、電子政務(wù)大數(shù)據(jù)建設(shè)趨勢分析
從國家一些政策來看，2015年開始，國務(wù)院發(fā)布了《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》，提出了開放和共享做大數(shù)據(jù)治理的思路。2016、2017年，國務(wù)院、國家發(fā)改委做了互聯(lián)網(wǎng)、人工智能的強(qiáng)化活動，將人工智能和行業(yè)大數(shù)據(jù)進(jìn)行結(jié)合。去年11月10日，中央政治局在進(jìn)行第二次集中學(xué)習(xí)時，提出讓信息多跑路，讓民眾少跑腿，實施數(shù)字中國戰(zhàn)略。
關(guān)于數(shù)字中國的建設(shè)，今年網(wǎng)信辦和發(fā)改委評出30個最佳實踐案例，在最佳實踐里的項目名稱中有10個項目提到交換和共享，剩下的項目在內(nèi)容里也絕對產(chǎn)生了交換和共享思路。我們現(xiàn)在處在一個大數(shù)據(jù)交換和共享時代，在這個時代，我們?nèi)绾稳崿F(xiàn)數(shù)據(jù)匯聚？如何從數(shù)據(jù)匯聚走到數(shù)據(jù)共享、數(shù)據(jù)交換和使用？我認(rèn)為這個過程在未來五年會不斷地出現(xiàn)，不斷通過數(shù)據(jù)交換、共享釋放我們的生產(chǎn)力，通過大數(shù)據(jù)釋放整個工作效率。可以看到交換和共享的威力，從一天時間辦一個業(yè)務(wù)，現(xiàn)在可以縮短到10分鐘。
二、大數(shù)據(jù)業(yè)務(wù)應(yīng)用正在發(fā)生變化
傳統(tǒng)的大數(shù)據(jù)業(yè)務(wù)面臨著比較大的挑戰(zhàn)，第一個是傳統(tǒng)大數(shù)據(jù)的數(shù)據(jù)源很多。過去我們曾做過一個實驗，大數(shù)據(jù)要服務(wù)很多商業(yè)、企業(yè)和政府的辦公系統(tǒng)，我們逐漸建立了一些數(shù)據(jù)倉庫，希望把數(shù)據(jù)從普通交易數(shù)據(jù)庫放到數(shù)據(jù)倉進(jìn)行統(tǒng)一保存和存儲，但這一愿景和目標(biāo)到今天還是沒有實現(xiàn)，很多數(shù)據(jù)還是割裂的，數(shù)據(jù)倉庫能夠覆蓋的范圍很有限。隨著大數(shù)據(jù)平臺的出現(xiàn)，我們會看到越來越多的這類問題，更多的系統(tǒng)變得更加分散。大數(shù)據(jù)平臺本身有幾十個讓我們?nèi)ナ煜?、使用，在傳統(tǒng)的數(shù)據(jù)倉里我們又維護(hù)了一套數(shù)據(jù)系統(tǒng)，數(shù)據(jù)倉和大數(shù)據(jù)是很難打通的，在今天也沒能實現(xiàn)。90年代提出用一個統(tǒng)一的方法來統(tǒng)計數(shù)據(jù)，這個目標(biāo)目前是沒辦法達(dá)成的。
這里面有個核心問題：做數(shù)據(jù)忽略了數(shù)據(jù)交換和共享。這個問題以前很少被提到，第一次是Google在2014年提出的，2015年亞馬遜提出一個設(shè)計理念，支持幾十萬個數(shù)據(jù)源不限量。舉一個公安的技偵例子，要通過技術(shù)偵查手段把互聯(lián)網(wǎng)信息、現(xiàn)場勘察信息、指紋信息、DNA信息進(jìn)行技術(shù)分析，可以想象公安的數(shù)據(jù)量在互聯(lián)網(wǎng)時代面臨的數(shù)據(jù)壓力。當(dāng)出現(xiàn)這個壓力時，最難的是如何解決卡口、網(wǎng)監(jiān)、信令、法制、反恐、事件、接處警、詢問、檔案等服務(wù)問題。
Google在2014年提到一個觀點，當(dāng)時報道世界杯時需要一個新方法，被命名為數(shù)據(jù)流水線，Google正在給世界貢獻(xiàn)一個全新的生態(tài)，這個生態(tài)不同于早期的Hadoop開源的生態(tài)。
2015年，亞馬遜看到Google的動作后，跟進(jìn)了一個策略，提了三個方向，既支持批量又支持實時，這一點很難，目前絕大部分中國企業(yè)完全不支持。在2011年的時候提到一個架構(gòu)，現(xiàn)在國內(nèi)95%左右的數(shù)據(jù)普遍采用的一個技術(shù)架構(gòu)，可能很多數(shù)據(jù)是放在HDM，有些數(shù)據(jù)放在一個流水線上，前面做了一個緩存和Hadoop數(shù)據(jù)進(jìn)行交互，大量的系統(tǒng)是這樣的架構(gòu)，但它有一個非常大的弱點，不能同時支持實時和批量，實時和批量是兩套系統(tǒng)、兩套數(shù)據(jù)庫。2011年全球提出這個方向，那是中國大數(shù)據(jù)興起的時候，第一基于開源系統(tǒng)，第二基于云服務(wù)的生態(tài)，第三是靈活擴(kuò)展，指數(shù)據(jù)不限量，可以處理PB或更大，都需要一個橫向擴(kuò)展能力，對數(shù)據(jù)源也不限量，可以是幾十個，甚至是幾百，但在亞馬遜看來是不夠的，希望是幾十萬個數(shù)據(jù)源。
基于這樣的架構(gòu)，我們在國內(nèi)的發(fā)展態(tài)勢要彌補(bǔ)過去大數(shù)據(jù)的不足，我們也沒辦法顛覆原來的大數(shù)據(jù)架構(gòu)，重新構(gòu)造一套可能不現(xiàn)實，希望有一個新方法來解決它的問題，我們就提出了一個大數(shù)據(jù)前置的部分，希望建立一個大緩存，這個緩存可以基于內(nèi)存。緩存的意思好理解，把它處理到PB級，達(dá)到這樣的技術(shù)手段，實現(xiàn)特別大的緩存，在這個緩存上實現(xiàn)數(shù)據(jù)交換和共享的能力，來支撐和彌補(bǔ)我們以前在大數(shù)據(jù)架構(gòu)上的不足。
我們借鑒Google和亞馬遜的方式，建設(shè)了大數(shù)據(jù)共享平臺，支持各種數(shù)據(jù)源實時和批量的數(shù)據(jù)交換。在數(shù)據(jù)源支持上，可以看到，不只支持?jǐn)?shù)據(jù)庫，數(shù)據(jù)源本身不等于數(shù)據(jù)庫?，F(xiàn)在這個時代，數(shù)據(jù)源也包括網(wǎng)絡(luò)協(xié)議，從互聯(lián)網(wǎng)分裝下來的協(xié)議，包括中間件或者是各種文件，互聯(lián)網(wǎng)和公共設(shè)備所傳遞的一些設(shè)備，所以數(shù)據(jù)源不能簡單看是支撐多種數(shù)據(jù)庫。實施數(shù)據(jù)管理，數(shù)據(jù)同步、對比驗證、數(shù)據(jù)傳輸、數(shù)據(jù)交換、數(shù)據(jù)質(zhì)量管理，將歷史數(shù)據(jù)和決策數(shù)據(jù)放到一個平臺，所有人都可以在這個平臺上進(jìn)行大數(shù)據(jù)處理。
以前的大數(shù)據(jù)來自于不同的源，有不同的格式，所以我們有一個人工的苦活，全部是通過手工編寫腳本和驗證的方法來實現(xiàn)，要統(tǒng)一成一個格式來進(jìn)行加工。我們現(xiàn)在有方法變成自動化，通過數(shù)據(jù)流水線的方式來實現(xiàn)數(shù)據(jù)從采集到加工的一體化服務(wù)?，F(xiàn)在亞馬遜正跟我們合作，把它原來云上的私有云到公有云手動遷移改造成一個自動的遷移。這種能力在新的數(shù)據(jù)加工里，有人會叫做邊緣計算，在新的架構(gòu)里更強(qiáng)調(diào)通過統(tǒng)一的數(shù)據(jù)模式、一個數(shù)字形態(tài)，在數(shù)據(jù)采集的時候就開始計算，而不是把所有的數(shù)據(jù)匯集到一個集中的節(jié)點或者是集群上進(jìn)行計算，所以我們賦予了數(shù)據(jù)計算的邊緣能力。
我們打通跨部門的數(shù)據(jù)橋梁，打通的意義在于解決了一個問題，有時候我們建一個數(shù)據(jù)平臺比較容易，但是建一個數(shù)據(jù)平臺往往發(fā)現(xiàn)建了一套存儲，并沒有用起來，各個部門難以協(xié)調(diào)，它的意義在于我們沒有強(qiáng)行要求數(shù)據(jù)上收，原來的數(shù)據(jù)邏輯還在，但是通過一個交換共享中心能夠輔助快速處理，并且處理的結(jié)果還可以返回，通過修橋梁的方式，我們更容易實現(xiàn)數(shù)據(jù)的打通和上收。
如果只有海量的交換和集群，可能還是不夠。比如中國人民銀行總行，在未來希望把3000家銀行、銀保監(jiān)會、證監(jiān)會的數(shù)據(jù)匯聚到人民銀行里，難度可想而知，工行一家的數(shù)據(jù)可能會把人民銀行的數(shù)據(jù)做宕機(jī)，3000家銀行的數(shù)據(jù)匯聚起來是更難的問題，除了有快速的交互，還需要有更快速的處理能力，不是兩套系統(tǒng)分別寫出來的。
為什么選DataHouse？大家覺得傳統(tǒng)的Hadoop是比較慢，它比我們這套系統(tǒng)能夠慢到600多倍，Hadoop早期是基于批處理數(shù)據(jù)，我們希望提供更快速的處理。當(dāng)處理達(dá)到幾百倍的數(shù)量級，比如在公共服務(wù)方面，公安破一個案子，有可能要對案件研判和推理，一個是一周的時間計算出來，一個是一分鐘計算出來，這是本質(zhì)的差別，不只是性能的差別。我們33個節(jié)點可以支持2個PB的數(shù)據(jù)讀寫，反饋速度是0.01秒來計量。
未來可以有一些演進(jìn)，我們可以整合在datahouse架構(gòu)里面。在橫向就打通數(shù)據(jù)流，從源數(shù)據(jù)到采集、入庫、處理，實現(xiàn)了完整打通，沒有借助于很多的大數(shù)據(jù)平臺，我們是在一個平臺上用S來完成的。
下面是一些案例，我們利用了大數(shù)據(jù)的能力，也應(yīng)用了人工智能自然語言處理能力，給公安構(gòu)造了10套系統(tǒng)，同時我們也寫了一個數(shù)據(jù)交換共享標(biāo)準(zhǔn)。這是在公安局的一個實際測試，對技偵大數(shù)據(jù)的測試，同時也在交通研究所，把全國交通卡口所有的圖像上收，來進(jìn)行一次統(tǒng)一的數(shù)據(jù)分析處理。
這就是我們剛才講到的技偵數(shù)據(jù)處理，既有DPI的互聯(lián)網(wǎng)分裝的數(shù)據(jù)，也有通過采集和爬蟲的數(shù)據(jù)，看到分包數(shù)據(jù)的原始狀態(tài)，同時也有設(shè)備上的網(wǎng)關(guān)，如何把不同格式的數(shù)據(jù)匯聚到一起，最后提出一個服務(wù)。這是我們現(xiàn)在這套系統(tǒng)給大家展示的一種能力，不需要先做很多格式轉(zhuǎn)換，做一個臨時庫、臨時表，分別建數(shù)據(jù)集等，不需要這些東西，這些東西太浪費(fèi)開發(fā)精力、周期也太長，我們在采集的同時就可以計算，計算的同時就可以發(fā)布。謝謝大家！
