阿里云近日宣布,其真武M890超节点实例成功完成对Kimi K3模型的适配,成为国内首个支持近3万亿参数规模模型运行的超节点。这一突破标志着国产算力在支撑超大参数模型应用方面迈出关键一步,为人工智能领域的技术创新提供了新的基础设施支撑。
Kimi K3作为当前业界参数规模最大的模型之一,其运行需要突破算力、显存和网络带宽的多重瓶颈。传统AI集群受限于通信带宽,难以满足高吞吐、低延迟、高并发的计算需求。阿里云真武超节点通过搭载ICN Switch高速互联芯片,实现了64张平头哥真武M890 GPU卡的全互联,带宽达到800GB/s,显存规模扩展至9TB,为万亿参数模型的稳定运行提供了硬件保障。
为提升模型运行效率,阿里云、平头哥与Kimi团队在软件层面展开深度合作。针对Kimi K3的模型架构,研发团队对核心算子进行优化,显著提高了推理过程中的算力和带宽利用率。测试数据显示,适配后的模型首Token时延降低约35%,单卡解码吞吐提升1.8倍,能够稳定支持长达1M的上下文处理,在长文档理解、复杂推理等场景中表现尤为突出。
随着国内外主流模型参数规模突破2万亿门槛,阿里云真武超节点的成功实践为国产算力应用开辟了新路径。此次适配不仅验证了真武M890在超大规模模型训练与推理中的技术可行性,更通过千问AI平台和阿里云百炼提供的模型API服务,降低了超大参数模型的应用门槛,为行业用户提供了更高效的算力解决方案。






















