應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

從0到1!摩爾線程國(guó)產(chǎn)GPU千卡集群點(diǎn)亮新成就

2024-05-29 08:50 快科技

導(dǎo)讀:摩爾線程聯(lián)合無(wú)問(wèn)芯穹宣布,雙方已在本周正式完成基于國(guó)產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實(shí)訓(xùn)。

  摩爾線程聯(lián)合無(wú)問(wèn)芯穹宣布,雙方已在本周正式完成基于國(guó)產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實(shí)訓(xùn)。

  該模型名為“MT-infini-3B”,在摩爾線程夸娥(KUAE)千卡智算集群與無(wú)問(wèn)芯穹AIStudio PaaS平臺(tái)上完成了高效穩(wěn)定的訓(xùn)練。

  本次實(shí)訓(xùn)充分驗(yàn)證了夸娥千卡智算集群在大模型訓(xùn)練場(chǎng)景下的可靠性,同時(shí)也在行業(yè)內(nèi)率先開(kāi)啟了國(guó)產(chǎn)大語(yǔ)言模型與國(guó)產(chǎn)GPU千卡智算集群深度合作的新范式。

  MT-infini-3B模型訓(xùn)練總用時(shí)13.2天,經(jīng)過(guò)精度調(diào)試,實(shí)現(xiàn)全程穩(wěn)定訓(xùn)練不中斷,集群訓(xùn)練穩(wěn)定性達(dá)到100%,千卡訓(xùn)練和單機(jī)相比擴(kuò)展效率超過(guò)90%。

  目前,實(shí)訓(xùn)出來(lái)的MT-infini-3B性能在同規(guī)模模型中躋身前列,相比在國(guó)際主流硬件上訓(xùn)練而成的其他模型,在C-Eval,MMLU,CMMLU等3個(gè)測(cè)試集上均實(shí)現(xiàn)性能領(lǐng)先。

  無(wú)問(wèn)芯穹聯(lián)合創(chuàng)始人兼CEO夏立雪表示:“國(guó)內(nèi)大模型與國(guó)產(chǎn)芯片的軟硬件協(xié)同發(fā)展,最終目標(biāo)是構(gòu)建一個(gè)成熟的生態(tài)系統(tǒng)。無(wú)問(wèn)芯穹正在打造‘M種模型’和‘N種芯片’間的‘M x N’中間層產(chǎn)品,實(shí)現(xiàn)多種大模型算法在多元芯片上的高效、統(tǒng)一部署。摩爾線程是第一家接入無(wú)問(wèn)芯穹并進(jìn)行千卡級(jí)別大模型訓(xùn)練的國(guó)產(chǎn)GPU公司,而‘MT-infini-3B’的訓(xùn)練是行業(yè)內(nèi)首次實(shí)現(xiàn)基于國(guó)產(chǎn)GPU芯片從0到1的端到端大模型實(shí)訓(xùn)案例?!?/p>

  摩爾線程創(chuàng)始人兼CEO張建中表示:“無(wú)問(wèn)芯穹在夸娥千卡智算集群上實(shí)現(xiàn)的從零開(kāi)始的大模型訓(xùn)練,不僅是對(duì)摩爾線程技術(shù)實(shí)力的有力認(rèn)證,更是實(shí)現(xiàn)了國(guó)內(nèi)大模型訓(xùn)練的國(guó)產(chǎn)化閉環(huán)。摩爾線程夸娥千卡智算集群以全功能GPU為底座,提供軟硬一體化的全棧解決方案,具備高兼容性、高穩(wěn)定性、高擴(kuò)展性等綜合優(yōu)勢(shì),我們致力于成為AGI時(shí)代大模型訓(xùn)練堅(jiān)實(shí)可靠的先進(jìn)基礎(chǔ)設(shè)施?!?/p>

  此前,摩爾線程與無(wú)問(wèn)芯穹已達(dá)成深度戰(zhàn)略合作。

  無(wú)問(wèn)芯穹大模型開(kāi)發(fā)與服務(wù)平臺(tái)“無(wú)穹Infini-AI”和摩爾線程大模型智算千卡集群夸娥已完成系統(tǒng)級(jí)融合適配,該平臺(tái)可以靈活調(diào)用夸娥的集群能力以完成大模型的訓(xùn)練、微調(diào)與推理任務(wù)。

  未來(lái),雙方還將開(kāi)展更多適配與測(cè)試,推動(dòng)國(guó)產(chǎn)大模型技術(shù)的快速發(fā)展與應(yīng)用普及,為中國(guó)人工智能產(chǎn)業(yè)的蓬勃發(fā)展貢獻(xiàn)力量。