今日,北京智源人工智能研究院宣布了一項(xiàng)重大驗(yàn)證成果,推出了六款A(yù)I芯片和三大模型,以及同構(gòu)+異構(gòu)千卡的眾智FlagOS,實(shí)現(xiàn)了AI訓(xùn)練“全要素”驗(yàn)證。摩爾線程作為核心參與廠商之一,基于其旗艦級AI訓(xùn)推一體全功能GPU智算卡MTTS5000,成功適配了FlagOS訓(xùn)練全要素軟件棧,包括系統(tǒng)調(diào)度決策框架、分布式訓(xùn)練框架、加速庫、算子庫和通信庫等。
在驗(yàn)證過程中,MTTS5000針對Qwen3-0.6B語言模型完成了1TTokens從頭訓(xùn)練驗(yàn)證,實(shí)現(xiàn)了連續(xù)6天以上、超過14000步的無中斷穩(wěn)定訓(xùn)練。訓(xùn)練所得模型的Loss曲線與基線高度一致,平均相對誤差控制在0.82%以內(nèi),而在標(biāo)準(zhǔn)下游任務(wù)評測中,相較于行業(yè)標(biāo)桿基線提升了1.65個(gè)百分點(diǎn),充分證明了全功能GPU算力在大模型端到端訓(xùn)練中的穩(wěn)定性與有效性。

來源:一電快訊
返回第一電動(dòng)網(wǎng)首頁 >
以上內(nèi)容由AI創(chuàng)作,如有問題請聯(lián)系admin#d1ev.com(#替換成@)溝通,AI創(chuàng)作內(nèi)容并不代表第一電動(dòng)網(wǎng)(m.22xuexi.com)立場。
文中圖片源自互聯(lián)網(wǎng)或AI創(chuàng)作,如有侵權(quán)請聯(lián)系郵件刪除。