技術(shù)
導(dǎo)讀:百川智能發(fā)布超千億參數(shù)的大語言模型 Baichuan 3
1 月 29 日消息,百川智能發(fā)布超千億參數(shù)的大語言模型 Baichuan 3,在 CMMLU、GAOKAO 和 AGI-Eval 等評(píng)測(cè)中,Baichuan 3 號(hào)稱在中文任務(wù)上超越了 GPT-4。
在測(cè)試邏輯推理能力的 MCMLE、MedExam、CMExam 等醫(yī)療評(píng)測(cè)上,Baichuan 3 的中文效果同樣號(hào)稱超過了 GPT-4,是“中文醫(yī)療任務(wù)表現(xiàn)最佳的大模型”。
據(jù)介紹,百川智能在 Baichuan 3 訓(xùn)練過程中提出了“動(dòng)態(tài)數(shù)據(jù)選擇”、“重要度保持”以及“異步 CheckPoint 存儲(chǔ)”等多種技術(shù)手段及方案,穩(wěn)定訓(xùn)練時(shí)間達(dá)到一個(gè)月以上,故障恢復(fù)時(shí)間不超過 10 分鐘。
百川智能官方表示,Baichuan 3 還突破“迭代式強(qiáng)化學(xué)習(xí)”技術(shù),進(jìn)一步提升了語義理解和生成能力,在詩詞創(chuàng)作的格式、韻律、表意等方面進(jìn)行了提升,對(duì)于宋詞這種格式多變,結(jié)構(gòu)深細(xì)、韻律豐富的高難度文體,生成的內(nèi)容亦能工整對(duì)仗、韻腳和諧,讓每個(gè)人都能創(chuàng)作出詠物、寄思的五言律詩、七言絕句,寫下的言志、抒情的“沁園春”、“定風(fēng)波”。
百川智能成立于 2023 年 4 月 10 日,由前搜狗公司 CEO 王小川創(chuàng)立。目前Baichuan 3 大模型已在百川智能官網(wǎng)上線,感興趣的IT之家小伙伴可以前往體驗(yàn)。