天数智芯×FlagOS×MiniCPM5-1B:全栈自主创新算力资源底座实现云端Day0极速适配

来源:天数智芯 #天数智芯# #MiniCPM5#
5911

5月25日,面壁智能正式开源新一代端侧文本基座大模型MiniCPM5-1B。通用GPU领军企业天数智芯,携手FlagOS社区,基于FlagOS统一多芯片系统软件栈完成该模型Day0深度适配。

天数智芯结合全栈自主创新架构与软硬协同技术栈,在长上下文推理、算力效率、交互延迟等维度展现硬核技术实力,加速国内模型与国内算力生态规模化落地。

优质端侧模型

适配国内算力的理想载体

MiniCPM5-1B是一款高性价比的轻量化基座模型,综合性能优异,适配场景广泛。模型以1B参数在AA-Index榜单斩获17.9分,领跑4B以下开源模型,延续了AI模型智能高速迭代的趋势。该模型经INT4量化后权重仅0.5GB,可适配手机、浏览器等90%以上终端设备,依托全球首个AI生成的生产级训练框架ForgeTrain完成预训练,原生兼容vLLM、SGLang等主流推理框架。其轻量化、长文本友好的特性,与天数智芯训推一体的硬件设计高度契合,是适配国内异构算力的标杆级端侧模型。

软硬协同优化

Day 0全链路适配彰显硬核实力

依托FlagOS统一多芯片软件栈与vLLM-plugin-FL插件能力,天数智芯快速完成MiniCPM5-1B在GPU产品上的全链路优化。凭借全栈自主创新技术体系,天数智芯实现行业领先的极速适配能力。自主创新指令集原生支持多精度计算,精准匹配模型量化推理需求;自主创新算子库与FlagOS社区的FlagGems算子库深度协同,对Attention、RMSNorm、矩阵乘等核心模块专项优化,少量算子迭代即可实现性能跃升。同时,自主创新软件栈全面兼容主流推理框架,依托vLLM-plugin-FL实现零代码迁移,大幅压缩模型适配周期。

在统一标准测试环境下,天数智芯芯片性能表现全面对标国际标杆。4k/16k/32k全上下文场景中,平台首Token延迟(TTFT)优于国际标杆原生基线,32k超长文本场景优势显著。剔除硬件差异后,16k、32k长上下文场景单位算力效率领先。依托GPU芯片优化的数据通路与整数计算单元,长序列推理吞吐效率逼近国际水平,性价比优势突出。

全栈自主创新体系

筑牢大模型算力资源底座

本次极速适配,不仅是FlagOS统一软件技术栈的支持,更源于天数智芯完整的自主创新技术体系。自主创新架构多精度计算能力突出综合性能达到国际一流水准;定制化核心算子库与FlagOS生态深度耦合,全面覆盖推理关键链路;统一软件栈兼容各类主流框架,实现模型“发布即适配、适配即最优”;可无缝承接模型从云端训练、数据中心推理到端侧部署的全流程需求。

开源极简部署

共建国内AI生态

依托FlagOS开源生态,天数智芯提供极简落地方案,开发者可通过源码部署或直接从魔搭、HuggingFace获取预适配模型,无需二次迁移,开箱即用,大幅降低大模型量产落地门槛。作为FlagOS核心共建单位,天数智芯已完成超百款主流模型、十余类芯片的适配落地。未来,天数将持续迭代自主创新算力架构,深化产业生态合作,推动普惠AI全域落地。

MiniCPM5-1B天数适配下载地址(点击跳转):

魔搭

Huggingface

责编: 爱集微
来源:天数智芯 #天数智芯# #MiniCPM5#
THE END
关闭
加载

PDF 加载中...