近日，由中國通信學(xué)會主辦、中國移動研究院承辦的2024中國信息通信大會“算力網(wǎng)絡(luò)算網(wǎng)一體創(chuàng)新發(fā)展論壇?”在成都圓滿落下帷幕。在本次論壇上，中國移動研究院、山東移動攜手產(chǎn)業(yè)合作伙伴，重磅發(fā)布了智算“芯合”異構(gòu)混訓(xùn)系統(tǒng)1.0和算力原生基礎(chǔ)軟件棧2.0成果。

成果發(fā)布活動現(xiàn)場

智算“芯合”異構(gòu)混訓(xùn)系統(tǒng)1.0：支撐AI大模型跨廠商、跨架構(gòu)規(guī)模訓(xùn)練

眾所周知，大模型訓(xùn)練對算力有著極高需求，但不同類型的智算芯片難以聚合成資源集群，以支持更大規(guī)模模型的訓(xùn)練。為此中國移動深耕智算異構(gòu)混合并行訓(xùn)練技術(shù)，推動不同智算芯片之間形成“合力”，構(gòu)建智算融通生態(tài)。

針對異構(gòu)混合訓(xùn)練中任務(wù)分配不均衡、通信協(xié)議不兼容等關(guān)鍵問題，山東移動依托中移齊魯創(chuàng)新院研發(fā)團隊開展系統(tǒng)性攻關(guān)，100%自主研發(fā)實現(xiàn)3D并行非均勻切分功能，支持流水線并行、數(shù)據(jù)并行等主流并行模式的混合訓(xùn)練，并基于山東智算科研資源池進(jìn)行性能調(diào)優(yōu)和功能適配開發(fā)，實現(xiàn)百億大模型在英偉達(dá)、天數(shù)智芯、壁仞、海光等多家智算芯片上的混合訓(xùn)練，訓(xùn)練加速比達(dá)95%以上，能夠顯著降低人工智能大模型訓(xùn)練成本，提高國產(chǎn)智算芯片訓(xùn)練效率。

智算“芯合”異構(gòu)混訓(xùn)系統(tǒng)示意圖

智算“芯合”算力原生基礎(chǔ)軟件棧2.0：智算應(yīng)用跨架構(gòu)遷移一站式解決方案

隨著多樣化異構(gòu)智算芯片不斷涌現(xiàn)，上層AI應(yīng)用難以在智算芯片間靈活遷移、智算生態(tài)互不兼容等問題日益突出，為此中國移動聯(lián)合業(yè)界提出算力原生技術(shù)，推動智算應(yīng)用實現(xiàn)跨架構(gòu)運行，實現(xiàn)AI應(yīng)用與智算芯片之間的解耦。

山東移動研發(fā)團隊積極參與算力原生技術(shù)攻關(guān)與應(yīng)用，承擔(dān)高性能計算庫研發(fā)工作，自主完成算子優(yōu)化開發(fā)，性能已接近英偉達(dá)同類型算子，為智算“芯合”算力原生基礎(chǔ)軟件棧性能提升筑牢根基。當(dāng)前，“芯合”算力原生基礎(chǔ)軟件棧2.0成果已實現(xiàn)泛AI應(yīng)用在英偉達(dá)、華為等6家智算芯片間高效流轉(zhuǎn)遷移，轉(zhuǎn)換效率超95%，能夠為AI模型推理、AI應(yīng)用開發(fā)等行業(yè)客戶提供智算應(yīng)用跨架構(gòu)遷移一站式解決方案。

智算“芯合”算力原生基礎(chǔ)軟件棧示意圖

未來，山東移動將圍繞智算領(lǐng)域加強科技創(chuàng)新，持續(xù)構(gòu)建自主核心能力，加快原創(chuàng)技術(shù)攻關(guān)，以科技創(chuàng)新推動產(chǎn)業(yè)創(chuàng)新，支撐國產(chǎn)智算生態(tài)繁榮和產(chǎn)業(yè)升級，為我國智算算力生態(tài)體系建設(shè)貢獻(xiàn)力量。