摩尔线程携手无问芯穹:0到1端到端大模型实训在国产GPU首次突破
摩尔线程联合无问芯穹宣布,线程携手芯穹型实训国双方在近日正式完成基于国产全功能GPU千卡集群的无问3B规模大模型实训。该模型名为“MT-infini-3B”,到端到端大模在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的首次训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的突破可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的线程携手芯穹型实训国新范式。 MT-infini-3B模型训练总用时13.2天,无问经过精度调试,到端到端大模实现全程稳定训练不中断,首次集群训练稳定性达到100%,突破千卡训练和单机相比扩展效率超过90%。线程携手芯穹型实训国目前,无问实训出来的到端到端大模MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的首次其他模型,在C-Eval,突破MMLU,CMMLU等3个测试集上均实现性能领先。 MT-infini-3B性能表现 无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。” 摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。” 此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
- 最近发表
-
- 把“三保”承诺落到行动上 江西市场监管部门助力食品企业复工复产
- 天下財經週報:星宇航空在全球航空業寒冬中能逆勢高飛嗎?|天下雜誌
- 百亿水利工程——华阳河蓄滞洪区工程建设持续推进 宿松新闻网
- “会客厅”亟待洁净 “后花园”呼唤文明
- 「直播0元购」土壤pH、土壤中阳离子及金属标准物质现货供应,新客免费试用!
- 今日辟谣(2023年11月13日)
- 「直播0元购」游离余氯、耗氧量等水质检测配套试剂现货供应,新客免费试用!
- 热烈祝贺:伟计业量&BNCC第2届牌品巡回招商会郑州站顺利召开!
- 国家标准《纳米技术 动态光散射法粒度分析仪技术要求》正式发布
- 中国人民政治协商会议第十六届淮南市委员会各专门委员会主任、副主任名单
- 随机阅读
-
- 自制“橡皮泥”可读取人体电信号
- 2023年度个税专项附加扣除开始确认 国内新闻
- 财政部、国家税务总局发文 对增值税小规模纳税人免征 财经
- 泉州各地推出“干货” 高层次人才留泉过年享“礼遇”
- 连续流动分析法测定杏仁中氰化物(一)
- 大咖医生“排排坐”网上办义诊 南京互联网医院问诊患者翻倍
- 总投资2亿多元!海宁这里将大变样!新建综合体、共富基地…
- 交警:开展夜间检查行动 护航道路交通安全
- 上海集中曝光第四批10起“口罩”违法典型案例
- AI破译2000年前烧焦古卷—新闻—科学网
- 连续三次!海宁入选省级名单!
- 四敢争先•九大争锋丨突破10万标箱 创历史新高!
- 纠偏“饭圈”,应是社会各界给予青少年的共同一课
- 2023年度个税专项附加扣除开始确认 国内新闻
- 股市大起大落,如何保持冷靜判斷?|天下雜誌
- 天下晨間新聞 台灣出口連兩季成長,但是……|天下雜誌
- 我国拟修法全面促进科学技术普及
- 泉州大桥姊妹桥动工建设 旧桥通行暂不受影响
- 滁州绿色食品产业企业家早餐会举办_
- 中美貿易戰紅利 越南已經用光光了?|天下雜誌
- 搜索
-
- 友情链接
-