(資料圖片僅供參考)

國內(nèi)性能最強(qiáng)的大模型計算集群來了！4月14日，騰訊云正式發(fā)布新一代HCC高性能計算集群。實測顯示，騰訊云新一代集群的算力性能較前代提升高達(dá)3倍，是國內(nèi)性能最強(qiáng)的大模型計算集群。

該集群采用騰訊云星星海自研服務(wù)器，搭載英偉達(dá)最新代次H800 GPU，服務(wù)器之間采用業(yè)界最高的3.2T超高互聯(lián)帶寬，為大模型訓(xùn)練、自動駕駛、科學(xué)計算等提供高性能、高帶寬和低延遲的集群算力。

2022年10月，騰訊完成首個萬億參數(shù)的AI大模型——混元NLP大模型訓(xùn)練。在同等數(shù)據(jù)集下，將訓(xùn)練時間由50天縮短到11天。如果基于新一代集群，訓(xùn)練時間將進(jìn)一步縮短至4天。

大模型進(jìn)入萬億參數(shù)時代，單體服務(wù)器算力有限，需要將大量服務(wù)器通過高性能網(wǎng)絡(luò)相連，打造大規(guī)模算力集群。通過對處理器、網(wǎng)絡(luò)架構(gòu)和存儲性能的全面優(yōu)化，騰訊云攻克了大集群場景下的算力損耗問題，能為大模型訓(xùn)練提供高性能、高帶寬、低延遲的智算能力支撐。

網(wǎng)絡(luò)層面，計算節(jié)點(diǎn)間存在海量的數(shù)據(jù)交互需求，隨著集群規(guī)模擴(kuò)大，通信性能會直接影響訓(xùn)練效率。騰訊自研的星脈網(wǎng)絡(luò)，為新一代集群帶來了業(yè)界最高的3.2T的超高通信帶寬。

存儲層面，幾千臺計算節(jié)點(diǎn)同時讀取一批數(shù)據(jù)集，需要盡可能縮短加載時長。騰訊云自研的文件存儲、對象存儲架構(gòu)，具備TB級吞吐能力和千萬級IOPS，充分滿足大模型訓(xùn)練的大數(shù)據(jù)量存儲要求。

（文章來源：深圳商報）

關(guān)鍵詞：