算力是數(shù)字經(jīng)濟(jì)時代的新型生產(chǎn)力。算力網(wǎng)是支撐數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施，可通過網(wǎng)絡(luò)連接多源異構(gòu)、海量泛在算力，實現(xiàn)資源高效調(diào)度、設(shè)施綠色低碳、算力靈活供給、服務(wù)智能隨需。中國科學(xué)院院士王懷民在第三屆中國國際軟件發(fā)展大會上從算力中心內(nèi)看縱向貫通、從算力中心間看橫向聯(lián)接、從生態(tài)網(wǎng)演化看開源創(chuàng)新三個維度分享了如何加快構(gòu)建全國一體化算力網(wǎng)，形成跨地域、跨部門協(xié)同發(fā)展合力，統(tǒng)籌數(shù)算、超算、智算協(xié)同計算，算力、數(shù)據(jù)、算法協(xié)同應(yīng)用，以算力高質(zhì)量發(fā)展賦能經(jīng)濟(jì)高質(zhì)量發(fā)展。

　　近年來，中國的算力、基礎(chǔ)設(shè)施、各類算力中心蓬勃發(fā)展。過去20年，通過“東數(shù)西算”，中國已經(jīng)建立了10個國家數(shù)據(jù)中心集群，為中國互聯(lián)網(wǎng)產(chǎn)業(yè)飛速發(fā)展提供重要的基礎(chǔ)設(shè)施。也是在過去20年，中國的超算中心迅速發(fā)展，14個國家超級計算中心已經(jīng)建立。數(shù)據(jù)中心和超算中心相互融合，“東數(shù)西算”十大數(shù)據(jù)中心和八大樞紐的建設(shè)正在推進(jìn)。為支持人工智能、大模型技術(shù)的發(fā)展，9個國家新一代人工智能公共算力開放創(chuàng)新平臺已經(jīng)建立，至少有16個國家級智算中心正在籌備建設(shè)。

　　在這一過程中，不僅超算中心在云化，智算中心也在云化，如何將這些資源有效整合？數(shù)據(jù)中心為智算中心提供資源，超算和計算相結(jié)合，可以為面向科學(xué)工程的計算和面向科學(xué)工程的人工智能提供支持，形成相互交叉的新興應(yīng)用形態(tài)，這一過程存在巨大的創(chuàng)新空間。

　　為滿足未來的算力需求，助力數(shù)字經(jīng)濟(jì)發(fā)展，工業(yè)和信息化部等六部門印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》（簡稱《行動計劃》）的通知，其中特別提到“推進(jìn)以云服務(wù)方式整合算力資源，充分發(fā)揮云計算資源彈性調(diào)度優(yōu)勢”，提出“算網(wǎng)融合發(fā)展行動”一是探索建設(shè)多層級算力調(diào)度平臺，逐步實現(xiàn)多元異構(gòu)算力跨域調(diào)度編排；二是構(gòu)建算力互聯(lián)互通體系，統(tǒng)一算力資源標(biāo)識和身份認(rèn)證。依托部省算力互聯(lián)互通平臺開展試點驗證。

　　從算力中心內(nèi)看縱向貫通

　　王懷民表示，我們希望算力網(wǎng)絡(luò)的核心，基礎(chǔ)軟件以及生態(tài)以“縱橫交錯”的形式有效推進(jìn)。所謂“縱”是在算力中心內(nèi)部形成縱向、多級的軟件棧，實現(xiàn)有效的對各應(yīng)用的支撐；“橫”是指以云的方式形成算力中心資源的有效鏈接，通過“生態(tài)演化”，促進(jìn)開源創(chuàng)新模式的有效發(fā)展。

　　在縱向方面，以人工智能為例，縱向用大算力支持大模型，促進(jìn)大數(shù)據(jù)的人工智能發(fā)展。王懷民以鵬城云腦為例，“鵬城云腦II” 包括4096顆昇騰910 AI處理器和2048顆鯤鵬920 CPU處理器，可以提供1E OPS智能算力，即不低于每秒100億億次操作的AI計算能力。這個體系在硬件平臺上又構(gòu)建了完全可以自主發(fā)展的人工智能計算架構(gòu)，高性能的人工智能框架運轉(zhuǎn)的軟件棧，深度學(xué)習(xí)的框架以及大模型的框架?！霸诖嘶A(chǔ)上構(gòu)建一站式的開發(fā)環(huán)境，支持創(chuàng)建相應(yīng)的服務(wù)項目，進(jìn)行有效訓(xùn)練，支持學(xué)術(shù)界的研究工作；支持構(gòu)建智算中心垂直體系的軟件全棧，支持這方面領(lǐng)域的研究，包括若干其它國產(chǎn)硬件平臺，以及英偉達(dá)在內(nèi)國際上其它平臺有效運作的垂直體系結(jié)構(gòu)?！?/p>

　　AI大模型通常有數(shù)億到數(shù)千億的參數(shù)，這些參數(shù)用于存儲和學(xué)習(xí)模型的知識。B是Biion（十億）的意思，如7B模型就是70億參數(shù)量的大模型。根據(jù)參數(shù)的不同，訓(xùn)練大模型可以分為7B、33B、200B模型。7B用來進(jìn)行策略的有效選擇，33B用來豐富語義的內(nèi)容生成，200B對標(biāo)國際先進(jìn)模型的研究平臺，推進(jìn)各項工作。王懷民表示，鵬城云腦是以華為芯片和相關(guān)軟件棧為基礎(chǔ)的體系架構(gòu)。在這個體系架構(gòu)已經(jīng)形成若干模型訓(xùn)練，包括7B、33B和200B，同時實現(xiàn)機(jī)內(nèi)并行、機(jī)間并行以及模型數(shù)據(jù)和流水線的各類并行模式，支持大模型的訓(xùn)練和研究實驗。很多研究機(jī)構(gòu)對于大模型的可能性提出很多假設(shè)，但是假設(shè)的驗證需要算力支持，在應(yīng)用領(lǐng)域也是如此。

　　從算力中心間看橫向聯(lián)接

　　算力中心的橫向銜接，可以通過云計算的模式實現(xiàn)。云計算長期面對三個方面挑戰(zhàn)：一是從云服務(wù)提供者角度看，效費比問題更加突出了；二是從云服務(wù)消費者角度看，平臺鎖定問題更加尖銳了；三是從云生態(tài)的角度看，服務(wù)模式問題更加現(xiàn)實了。如何解決費效比和平臺鎖定問題？王懷民表示：“希望建立多數(shù)據(jù)中心、多云服務(wù)商之間的有效協(xié)同模式。2017年在國家重點研發(fā)的支持下，我們提出云際計算的概念，以云服務(wù)商之間的開放協(xié)作為基礎(chǔ)，通過多方云資源，包括數(shù)據(jù)資源和模型資源的深度融合，方便開發(fā)者通過軟件定義的方式實現(xiàn)各類跨算力中心之間的協(xié)同，實現(xiàn)服務(wù)無邊界、云間有協(xié)作的云際計算模式，這也是上文提到的《行動計劃》所要求的形態(tài)。

　　據(jù)王懷民介紹，鵬城·腦海大模型7B版本已于北京、天津、沈陽、大連、長春、西安、武漢、成都8地人工智能計算中心成功測試及部署，優(yōu)化版本模型持續(xù)更新。鵬城·腦海大模型200B版本于武漢人工智能計算中心完成部署，同步進(jìn)行性能優(yōu)化測試。

　　鵬城實驗室依托CCF開源發(fā)展委員會與8地計算中心基于大模型開源創(chuàng)新研究聯(lián)合體持續(xù)開展優(yōu)化研究與應(yīng)用開發(fā)探索。這種協(xié)同體系如何形成有效的網(wǎng)絡(luò)化生態(tài)，實現(xiàn)開源創(chuàng)新發(fā)展？王懷民表示，這需要產(chǎn)業(yè)界共同構(gòu)建。在垂直方向，超算中心、數(shù)據(jù)中心、智算中心構(gòu)建軟件棧，橫向用云際計算連接基礎(chǔ)設(shè)施，將計算能力提供給全世界的開源社區(qū)，讓更多的參與開源的開發(fā)者能夠有效使用軟件棧，觸達(dá)計算資源，高效進(jìn)行有關(guān)試驗的研究，進(jìn)行產(chǎn)業(yè)創(chuàng)新生態(tài)應(yīng)用場景的設(shè)計。

　　中國的開源創(chuàng)新正在實現(xiàn)質(zhì)的飛躍

　　“開源創(chuàng)新”正成為探索智能世界的關(guān)鍵之舉，是邁向萬物智聯(lián)世界的必由之路。在這一過程中，中國已經(jīng)開展了一系列實踐。王懷民舉例，比如已經(jīng)開源共享異構(gòu)資源的仿真環(huán)境，支持研發(fā)者邊研發(fā)邊論證，邊開展應(yīng)用研究，全國100多所大學(xué)的開發(fā)者，在開源生態(tài)上托管和人工智能、大模型研究相關(guān)約2.1萬的倉庫和相關(guān)開發(fā)任務(wù)?！拔覀冇迷齐H化的手段，可以支持不同的社區(qū)采用統(tǒng)一的代碼倉存儲模式，在不同的數(shù)據(jù)中心實現(xiàn)有效的數(shù)據(jù)共享。幫助不同的社區(qū)在不同領(lǐng)域構(gòu)建項目，在不同的云數(shù)據(jù)中心管理代碼倉，同時能夠做出統(tǒng)一的項目管理視圖，有效實現(xiàn)數(shù)據(jù)資源的安全訪問和管理，這是正在推進(jìn)的社區(qū)工作。希望通過這樣的工作，構(gòu)建人機(jī)協(xié)作、持續(xù)學(xué)習(xí)、成長演化的智能軟件相關(guān)開發(fā)環(huán)境?！?/p>

　　中國擁有豐富的應(yīng)用場景，可以提供豐富的算力中心資源，特別是在國家的大力支持下，各級各類創(chuàng)新主體的積極參與下，中國孕育出的算力網(wǎng)基礎(chǔ)軟件將走向世界、影響世界。在鵬城云腦的部署下，可以實現(xiàn)數(shù)據(jù)的接入、訓(xùn)練大模型，通過應(yīng)用、驗證，數(shù)據(jù)再傳回，形成人機(jī)學(xué)習(xí)、成長演化的良好生態(tài)。“希望大家繼續(xù)推動這項工作，利用豐富的訓(xùn)練環(huán)境產(chǎn)生更好的訓(xùn)練效果，通過高效共建生態(tài)，奠定未來中國在整個開源生態(tài)中的主導(dǎo)地位?！蓖鯌衙癖硎?，“中國的開源創(chuàng)新正在實現(xiàn)質(zhì)的飛躍，進(jìn)入蓄勢引領(lǐng)的新階段?！澳壳?，需要具有世界級影響力的開源項目，吸引全球的創(chuàng)新成果和創(chuàng)新資源加入其中，構(gòu)建全球性的開源生態(tài)。期待在中國構(gòu)建的面向全球的開源平臺上，能夠出現(xiàn)具有世界影響力的中國智能時代開源軟件項目?！?/p>

　　本文根據(jù)王懷民院士公開演講整理而成，未經(jīng)本人確認(rèn)。

更多精彩，請關(guān)注“官方微信”