那么到底什么是萬卡集群?萬卡集群到底有哪些作用?有必要部署萬卡集群嗎?

01 什么是萬卡集群?

萬卡集群，是指由超過一萬張加速卡(如GPU、TPU或其他專用AI加速芯片)組成的高性能計算系統(tǒng)，用以加速人工智能模型的訓(xùn)練和推理過程。

至于為什么需要一萬張加速卡?

眾所周知，大模型競賽的本質(zhì)是算力競賽。比如這里有一個超大土堆，放一個工人和放一萬個工人，在效率上肯定會有質(zhì)的飛躍。

以O(shè)penAI訓(xùn)練GPT模型為例，GPT-4需要使用2.5萬張英偉達(dá)A100 GPU，并行訓(xùn)練100天左右的時間，在此期間要處理13萬億個token，并且涉及大約1.76萬億個參數(shù)。在不久的將來，開發(fā)大模型所需的算力將實(shí)現(xiàn)指數(shù)級的增長，對于即將亮相的GPT-5，預(yù)計該模型的訓(xùn)練需要部署20萬~30萬個H100 GPU，耗時130~200 天。

如今OpenAI發(fā)布ChatGPT已有兩年的時間，從建設(shè)進(jìn)度上看，海外頭部廠商在2022年、2023年已經(jīng)完成萬卡集群搭建。比如2023年5月，谷歌推出的AI超級計算機(jī)A3，搭載了約26000塊英偉達(dá)H100 GPU;2022年，META宣布了一個由1.6萬塊英偉達(dá)A100 GPU組成的集群。到了2024年初，META進(jìn)一步擴(kuò)大規(guī)模，建成了兩個各含24576塊GPU的集群，并設(shè)定了宏偉目標(biāo)：到2024年底，構(gòu)建一個包含35萬塊英偉達(dá)H100 GPU的龐大基礎(chǔ)設(shè)施。亞馬遜Amazon EC2 Ultra集群采用了2萬個H100 TensorCore GPU。

再看中國的智能算力建設(shè)情況。

02  國產(chǎn)萬卡集群，誰在布局?

日前，中國工程院院士鄭緯民指出，“構(gòu)建國產(chǎn)AI卡的萬卡大模型訓(xùn)練平臺很難，但也很重要以及必要。”

當(dāng)下，國內(nèi)已有多家廠商及機(jī)構(gòu)著手向萬卡集群領(lǐng)域拓展業(yè)務(wù)。

根據(jù)《智算產(chǎn)業(yè)發(fā)展研究報告(2024)》顯示，在中國，超萬卡集群的智算中心已達(dá)十余個。

今年以來， 中國移動 、聯(lián)通、電信三大運(yùn)營商均在加速推進(jìn)超萬卡集群智算中心的建設(shè)。

今年8月，中國電信在智算網(wǎng)絡(luò)建設(shè)方面取得了顯著進(jìn)展，其上海與北京兩大萬卡集群已成功投產(chǎn)運(yùn)營。

中國移動位于呼和浩特、哈爾濱、貴陽的萬卡級別的智算中心已經(jīng)先后投產(chǎn)運(yùn)行。據(jù)悉，三大集群總規(guī)模近6萬張GPU卡，充分滿足大模型集中訓(xùn)練需求。

中國聯(lián)通正在打造上海、呼和萬卡智算集群，全網(wǎng)智算算力超15EFLOPS，發(fā)布AICC、AICP、星羅調(diào)度平臺等五大智算產(chǎn)品，提供涵蓋國家“東數(shù)西算”樞紐、31省重點(diǎn)城市、超600邊緣節(jié)點(diǎn)的AIDC基座。

小米也正計劃建設(shè)一座GPU萬卡集群。據(jù)悉，小米在其大模型團(tuán)隊成立時已經(jīng)擁有6500張GPU資源。

字節(jié)在2023年就已建立起超過1萬張卡的Ampere架構(gòu)GPU (A100/A800) 集群，此后還在建設(shè)大規(guī)模Hopper架構(gòu)(H100/H800)集群。

如今，“萬卡集群”被業(yè)界視作是這一輪大模型競賽的“入場券”，甚至還有不少廠商已經(jīng)開始布局“十萬卡集群”。

百度的百舸 4.0 通過一系列產(chǎn)品技術(shù)創(chuàng)新，已經(jīng)能夠?qū)崿F(xiàn)十萬卡集群的高效管理。

阿里巴巴的阿里云可實(shí)現(xiàn)芯片、服務(wù)器、數(shù)據(jù)中心之間的高效協(xié)同，支持 10 萬卡量級的集群可擴(kuò)展規(guī)模，已服務(wù)全國一半的人工智能大模型企業(yè)。

騰訊已宣布自研星脈高性能計算網(wǎng)絡(luò)全面升級，星脈網(wǎng)絡(luò) 2.0 搭載全自研的網(wǎng)絡(luò)設(shè)備與 AI 算力網(wǎng)卡，能夠支持超 10 萬卡大規(guī)模組網(wǎng)，網(wǎng)絡(luò)通信效率比上一代提升 60%，讓大模型訓(xùn)練效率提升 20%。

03  國產(chǎn)AI芯片公司，得到利好

顯然，在運(yùn)營商以及科技巨頭紛紛入場布局之際，國產(chǎn) AI 芯片公司也迎來利好。

華為昇騰

據(jù)悉，以政府為主導(dǎo)的城市智能計算中心多采用國產(chǎn)A1芯片中的佼佼者如華為昇騰等，其中華為更是在統(tǒng)計的20多個城市為主體的智能計算中心中占據(jù)79%的市場份額，處于國產(chǎn)AI芯片的領(lǐng)先位置。在可預(yù)見的2025年，昇騰芯片及服務(wù)器的市場依舊會處于緊張的供給局面。

寒武紀(jì)

2023年寒武紀(jì)思元(MLU)系列云端智能加速卡在中國移動正式上線。截至2023年12月，中國移動已有12個省公司、超過70個AI業(yè)務(wù)完成向寒武紀(jì)思元系列云端智能加速卡的遷移。

2024年8月，中國移動云能力中心參建的全球運(yùn)營商最大單集群智算中心——中國移動智算中心(哈爾濱)正式投產(chǎn)使用。該智算中心部署超1.8萬張AI加速卡，AI芯片國產(chǎn)化率達(dá)100%，可提供6.9EFLOPS(每秒690億億次浮點(diǎn)運(yùn)算)智能算力。據(jù)悉，該智算中心就是由寒武紀(jì)參與建設(shè)。

南京智能計算中心由南京市麒麟科技創(chuàng)新園與浪潮、寒武紀(jì)共同打造，采用浪潮AI服務(wù)器算力機(jī)組，搭載領(lǐng)先的寒武紀(jì)思元270和思元290智能芯片及加速卡，已運(yùn)營系統(tǒng)的AI計算能力達(dá)每秒80億億次 (800P OpS)。

大模型爆火的當(dāng)下，AI的訓(xùn)練和推理芯片及訓(xùn)推一體化等芯片成為市場“香餑餑”，寒武紀(jì)在此領(lǐng)域的深耕研發(fā)，加速思元系列芯片的迭代。

摩爾線程2023 年 12 月摩爾線程 KUAE 智算中心揭幕，這是國內(nèi)首個以國產(chǎn)全功能 GPU 為底座的大規(guī)模算力集群，以全功能 GPU 為底座，提供軟硬一體化的全棧解決方案。

2024 年 7 月，摩爾線程聯(lián)合中國移動通信集團(tuán)青海有限公司、中國聯(lián)通青海公司、北京德道信科集團(tuán)、中國能源建設(shè)股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司等，分別就三個萬卡集群項目進(jìn)行了戰(zhàn)略簽約，多方將聚力共同構(gòu)建好用的國產(chǎn)GPU集群。

燧原科技

2021年燧原科技與之江實(shí)驗(yàn)室在之江實(shí)驗(yàn)室南湖新園區(qū)簽約成立“燧原-之江人工智能芯片聯(lián)合研究中心”。

成渝智算中心由四川并濟(jì)科技投建，燧原科技提供搭建算力底座。

與此同時，燧原科技還助力太湖億芯(無錫)智算中心、甘肅慶陽算力樞紐的建設(shè)。

天數(shù)智芯

中國移動智算中心(呼和浩特)是全球運(yùn)營商領(lǐng)域內(nèi)規(guī)模最大的單體液冷智算中心，智算規(guī)模高達(dá) 6.7EFLOPS(FP16)，擁有國家級 N 節(jié)點(diǎn)萬卡規(guī)模 AI 訓(xùn)練場。

天數(shù)智芯在該項目中充分發(fā)揮天垓 150 產(chǎn)品的卓越性能與廣泛適用性，與新華三信息技術(shù)強(qiáng)強(qiáng)聯(lián)合，共同打造高性能 AI 訓(xùn)練服務(wù)器。

壁仞科技

壁仞科技也參與中國移動呼和浩特智算中心項目。

此外，壁仞科技的壁礪系列通用 GPU 算力產(chǎn)品還在中國電信落地千卡集群并開展商業(yè)化應(yīng)用，另外在中國電信集團(tuán)新一輪國產(chǎn)化 GPU 集采項目中，壁仞科技的主流 GPU 產(chǎn)品已經(jīng)納入中國電信的集采名錄，成為中國電信的主要 GPU 供應(yīng)商。

沐曦科技

2024 年 11月，由上海聯(lián)通攜手加佳科技、沐曦共同打造的曦源一號 SADA 萬卡集群算力項目第一期千卡國產(chǎn)算力集群在上海聯(lián)通臨港機(jī)房正式落地。該項目以沐曦 GPU 芯片技術(shù)產(chǎn)品為核心，著力構(gòu)建集算力、算法、數(shù)據(jù)、產(chǎn)業(yè)應(yīng)用為一體的人工智能產(chǎn)業(yè)新生態(tài)。

據(jù)悉，沐曦和加佳科技已在上海、湖南、江蘇等多地建成智算中心，并計劃于2025年6月完成10000卡國產(chǎn)高質(zhì)量算力建設(shè)。

04何止“萬卡”，甚至要“百萬卡”

從早期智算中心艱難起步，一步步發(fā)展到如今 “萬卡” 規(guī)模的算力集群紛紛落地，這無疑是巨大的飛躍。當(dāng)下，行業(yè)頭部廠商更是將視野進(jìn)一步拓寬，已然聚焦于更為宏大的 “百萬卡” 目標(biāo)。

近日，在AI市場快速增長的背景下，博通市值突破 1 萬億美元，創(chuàng)下歷史新高。

博通首席執(zhí)行官陳福陽表示，他有信心在 2020 年代后期繼續(xù)加大對人工智能的投資。他指出，三年內(nèi)，博通的客戶計劃構(gòu)建配備數(shù)百萬個 AI 芯片的大規(guī)模計算集群，從而推動市場大幅增長。

博通正與三大客戶合作開發(fā) AI 芯片，計劃到 2027 年在網(wǎng)絡(luò)集群中部署 100 萬個芯片。據(jù)CNBC報道，他估計，到 2027 年，其 XPU 和 AI 網(wǎng)絡(luò)組件的總市場規(guī)模將達(dá)到 600 億至 900 億美元。

雖然博通尚未正式公布其芯片客戶，但分析師表示，該公司正在與谷歌、Meta 和字節(jié)跳動合作，以加速 AI 系統(tǒng)的訓(xùn)練和部署。據(jù)《金融時報》報道，該公司已為此開發(fā)了定制處理器。

05“萬卡集群”真的有必要嗎?

先說結(jié)論，“萬卡集群”的建設(shè)一定是有必要的。

當(dāng)前，我國智能算力供不應(yīng)求的問題較為突出，大模型對算力的需求增速遠(yuǎn)超單顆 AI 芯片性能的提升步伐。相關(guān)報告顯示，2023 年，中國智能算力需求達(dá) 123.6EFLOPS，而供給僅為 57.9EFLOPS，供需缺口一目了然。利用集群互聯(lián)彌補(bǔ)單卡性能短板，或是現(xiàn)階段緩解 AI 算力荒最值得探索與實(shí)踐的有效途徑。

不過，在推進(jìn) “萬卡集群” 建設(shè)進(jìn)程中，有兩大關(guān)鍵難題亟待解決：其一，怎樣高質(zhì)量完成建設(shè)任務(wù)，保證集群在穩(wěn)定性、高效性、兼容性等多方面達(dá)到標(biāo)準(zhǔn)要求;其二，建成后如何充分挖掘其應(yīng)用價值，使其在人工智能訓(xùn)練、大數(shù)據(jù)分析等適配場景發(fā)揮最大作用，杜絕資源空置與浪費(fèi)現(xiàn)象。

首先，不妨將 “萬卡集群” 類比為參與 “多人多足” 游戲的團(tuán)隊，大家都清楚，讓一群人如同一個人般整齊劃一地前行并非易事，要調(diào)度上萬張計算卡協(xié)同高效作業(yè)、達(dá)成性能的線性擴(kuò)展、確保任務(wù)無間斷運(yùn)行，這對集群的設(shè)計、調(diào)度以及容錯能力都提出了極高挑戰(zhàn)。

其次，智算中心的建設(shè)只是一個開端，更重要的是后續(xù)的有效運(yùn)用。

據(jù)報道，由于智算中心的投資、建設(shè)、運(yùn)營通常由不同主體負(fù)責(zé)，前期建設(shè)方常常對后續(xù)運(yùn)營模式、服務(wù)標(biāo)準(zhǔn)缺乏足夠考量，出現(xiàn) “只管建設(shè)、不顧運(yùn)營”、建設(shè)與運(yùn)營脫節(jié)的情況，影響了客戶體驗(yàn)，致使不少城市所建智算中心的機(jī)架利用率不盡人意。

從商業(yè)模式來講，智算中心大多以出租或售賣算力為主要盈利手段，然而因行業(yè)尚未統(tǒng)一算力定價標(biāo)準(zhǔn)，不同智算中心價格差異懸殊，市場接納程度受限。

近期，多位智算中心領(lǐng)域從業(yè)者走訪國內(nèi)各地智算中心后，他們中的一些人向《智能涌現(xiàn)》反饋，當(dāng)前國內(nèi)算力中心市場較為低迷。一位業(yè)內(nèi)人士透露：“就目前所掌握情況，多數(shù)機(jī)房出租率大致在 20% - 30% 區(qū)間浮動，部分企業(yè)級智算中心出租率甚至低至 10% 左右。”

要清楚，智算中心不僅前期需要投入巨額資金購置 GPU 等 AI 芯片，后續(xù)運(yùn)營階段同樣需要持續(xù)注資。

《智能涌現(xiàn)》不久前發(fā)文指出，一臺英偉達(dá) H100 服務(wù)器(8 卡)租賃價格，已從年初的 12- 18萬元/月，下滑至目前的7.5萬元/月，降幅約50%。

若按照當(dāng)前機(jī)房20%的利用率來算，一個英偉達(dá)H100千卡集群智算中心每年營收僅2300 萬元(即7.5 萬元/月×12個月×128臺服務(wù)器×20%)，這意味著，即便算力中心勉強(qiáng)維持運(yùn)營，所得收入基本只能覆蓋一半的正常運(yùn)營成本，前期投入的資本根本無從回本。

綜上所述，“萬卡集群”已成為智能算力時代的重要里程碑，標(biāo)志著我國在人工智能領(lǐng)域的算力建設(shè)邁上了新的臺階。從小米、中國移動等科技巨頭正積極布局萬卡集群，以期在這場大模型競賽中占據(jù)有利地位。然而，萬卡集群的建設(shè)并非易事，智算中心需要多長時間才能通過運(yùn)營收入收回投資，行業(yè)也還需更多的探索。