華為聯(lián)合IEEE Kazakhstan Subsection共同發(fā)布HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書

2023-06-07 17:45:04       來源:清一色財(cái)經(jīng)

無損以太網(wǎng)絡(luò)技術(shù)具有智能RDMA、網(wǎng)絡(luò)級(jí)負(fù)載均衡等特征,可實(shí)現(xiàn)零丟包轉(zhuǎn)發(fā)和90%的超高吞吐率,形成性能、兼容性、成本效益和靈活性等全方面優(yōu)勢(shì),已成為高性能計(jì)算的必然選擇。

[阿拉木圖,2023年6月5日] 在2023華為中東中亞技術(shù)嘉年華期間,華為成功舉辦數(shù)通創(chuàng)新峰會(huì)。來自哈薩克斯坦、烏茲別克斯坦、沙特、阿聯(lián)酋、卡塔爾、巴基斯坦等多個(gè)國家的480多位客戶和伙伴參與本次峰會(huì),共同討論行業(yè)數(shù)字化發(fā)展和網(wǎng)絡(luò)技術(shù)創(chuàng)新。會(huì)上,華為聯(lián)合IEEE Kazakhstan Subsection、阿聯(lián)酋高級(jí)國家研究和教育網(wǎng)絡(luò)Ankabut面向全球共同發(fā)布了《HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書》(以下簡稱“白皮書”)。白皮書闡述了無損以太數(shù)據(jù)中心網(wǎng)絡(luò)在HPC和AI領(lǐng)域廣泛的應(yīng)用前景,并從網(wǎng)絡(luò)架構(gòu)、關(guān)鍵技術(shù)、商業(yè)價(jià)值、最佳實(shí)踐等維度闡述了最新的技術(shù)研究與商用實(shí)踐成果。


(資料圖)

華為聯(lián)合IEEE Kazakhstan Subsection、Ankabut發(fā)布《HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書》

白皮書指出,無損以太網(wǎng)絡(luò)技術(shù)具有智能RDMA、網(wǎng)絡(luò)級(jí)負(fù)載均衡等特征,可實(shí)現(xiàn)零丟包轉(zhuǎn)發(fā)和90%的超高吞吐率,形成性能、兼容性、成本效益和靈活性等全方面優(yōu)勢(shì),已成為高性能計(jì)算的必然選擇。同時(shí)全球各國積極頒發(fā)政策支持HPC和AI發(fā)展,未來,無損以太網(wǎng)絡(luò)將在全球數(shù)字化中發(fā)揮關(guān)鍵作用。

白皮書中首先介紹了當(dāng)前高性能計(jì)算網(wǎng)絡(luò)拓?fù)浼軜?gòu)包括CLOS、MultiRail、直連拓?fù)?。其中,CLOS是一個(gè)多級(jí)架構(gòu),在每一級(jí),每個(gè)交換單元都和下一級(jí)的所有交換單元相連接,可以做到嚴(yán)格的無阻塞、可重構(gòu)、可擴(kuò)展;MultiRail通過框式設(shè)備的信元交換,實(shí)現(xiàn)平面內(nèi)的絕對(duì)負(fù)載均衡;直連拓?fù)淇蓪?shí)現(xiàn)超大規(guī)模組網(wǎng),具備低成本、端到端通信跳數(shù)少的特點(diǎn)。

其次介紹了軟件架構(gòu)從網(wǎng)絡(luò)自身的優(yōu)化、網(wǎng)絡(luò)與應(yīng)用系統(tǒng)的融合優(yōu)化兩個(gè)方面來提升HPC&AI應(yīng)用性能。其中網(wǎng)絡(luò)自身優(yōu)化通過以下三個(gè)方面實(shí)現(xiàn)整網(wǎng)吞吐最高、時(shí)延最低的目標(biāo):第一是流控技術(shù),通過識(shí)別環(huán)形緩存依賴并破除其產(chǎn)生的必要條件,從而解決PFC死鎖的問題,提高網(wǎng)絡(luò)可靠性;第二是擁塞控制,通過AI算法動(dòng)態(tài)調(diào)節(jié)ECN門限,以獲得最大帶寬與最小時(shí)延;第三是流量調(diào)度,通過NSLB技術(shù)解決網(wǎng)絡(luò)負(fù)載不均的問題,實(shí)現(xiàn)90%高吞吐,以達(dá)成AI訓(xùn)練效率提升20%的結(jié)果。網(wǎng)絡(luò)與應(yīng)用系統(tǒng)的融合優(yōu)化,則由HPC網(wǎng)絡(luò)通過在網(wǎng)計(jì)算實(shí)現(xiàn)運(yùn)算優(yōu)化,即通過MPI通信的在網(wǎng)聚合運(yùn)算特性,網(wǎng)絡(luò)設(shè)備參與計(jì)算過程,減少任務(wù)完成時(shí)間。

HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書

當(dāng)前整個(gè)社會(huì)發(fā)展的大趨勢(shì)是HPC&AI For Everything,無損以太網(wǎng)絡(luò)將持續(xù)為實(shí)現(xiàn)萬物互聯(lián)、萬網(wǎng)互通筑基架梁;為千行百業(yè)提供算力服務(wù),打造數(shù)字經(jīng)濟(jì)時(shí)代的堅(jiān)實(shí)高性能計(jì)算底座;為先進(jìn)數(shù)字產(chǎn)業(yè)繁榮發(fā)展貢獻(xiàn)力量,助力全球數(shù)字化轉(zhuǎn)型。

更多信息,請(qǐng)點(diǎn)擊下載《HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書》:https://e.huawei.com/cn/material/enterprise/7021011bcf3d45eeb8c83912f94bd1af

關(guān)鍵詞:
x 廣告
x 廣告

Copyright @  2015-2022 海外生活網(wǎng)版權(quán)所有  備案號(hào): 滬ICP備2020036824號(hào)-21   聯(lián)系郵箱:562 66 29@qq.com