螞蟻集團(tuán)開源代碼大模型Ling-Coder-Lite
3月29日,螞蟻集團(tuán)昨日宣布,正式開源Ling-Coder-Lite。
據(jù)官方介紹,Ling-Coder-Lite是一款 MoE 架構(gòu)的代碼大語(yǔ)言模型,實(shí)現(xiàn)推理效率提升 1.5-2 倍。
據(jù)介紹,2個(gè)輕量級(jí)代碼大模型 Ling-Coder-Lite 和 Ling-Coder-Lite-Base 已在 Hugging Face 與 ModelScope 開源 。同時(shí),螞蟻集團(tuán)開源用于退火訓(xùn)練的 SyntheticQA、用于后訓(xùn)練 SFT(Supervised Fine-tuning)和 DPO(Direct Preference Optimization)共計(jì)約 3000 萬(wàn)條數(shù)據(jù),支持社區(qū)進(jìn)一步研究和開發(fā)。
據(jù)介紹,基于 Ling-MoE 架構(gòu),Ling-Coder-Lite 總參數(shù)量為 16.8B,推理時(shí)激活參數(shù)僅為 2.75B。Ling-Coder-Lite 支持 Python、Java、C++、JavaScript 等數(shù)十種常用編程語(yǔ)言,除簡(jiǎn)單的和多語(yǔ)言的代碼生成之外,還支持競(jìng)賽類和應(yīng)用類高級(jí)代碼生成、代碼理解和輸入輸出推理、數(shù)據(jù)科學(xué)和 SQL 類數(shù)據(jù)分析、代碼修復(fù)等。
最新推薦
閱讀排行榜
欄目索引
相關(guān)內(nèi)容