腾讯发布星脉网络2.0，让AI大模型训练效率提升20%

　　科技日报记者 操秀英

随着大模型的持续迭代，AI基础设施逐渐成为云厂商的核心竞争力之一。7月1日，腾讯宣布其自研星脉高性能计算网络全面升级，网络通信效率比上一代提升60%。升级后的星脉网络2.0搭载全自研的网络设备与AI算力网卡，支持超10万卡大规模组网，让大模型训练效率提升20%。这意味着，如果原来训练中某个计算结果的同步需要花100秒完成，现在只需要40秒;原来训练一个模型需要50天，现在则只需40天。JnV知多少教育网-记录每日最新科研教育资讯

AI大模型就像是一场F1比赛，腾讯云专门设计了星脉高性能算力网络“赛道”，并自研了TiTa和TCCL网络协议作为“赛事指挥中心与专业车队”，共同让“腾讯云高性能计算集群HCC的GPU服务器”这台马力强大的F1赛车发挥最大的算力性能，助力客户在AI大模型的竞争中遥遥领先。JnV知多少教育网-记录每日最新科研教育资讯

据介绍，AIGC(人工智能生成内容)的火热推动着AI大模型参数量从亿级到万亿级飙升。模型参数规模与架构升级对底层网络也提出了新的要求。为支撑AIGC中海量数据的大规模训练，大量服务器通过高速网络组成大规模算力集群，互联互通，共同完成训练任务。JnV知多少教育网-记录每日最新科研教育资讯

然而，集群规模越大，所产生的通信损耗会越高。同时，AI训练的通信模式，与传统的通信模式差异较大，不同大模型架构也存在着通信模式的差异。部分大模型训练过程中通信占比最大可达50%。此外，分布式计算模式也意味着，单点的故障将导致整个集群不可用，因此在故障的时候需要快速定位与恢复训练，把损失降到最低。JnV知多少教育网-记录每日最新科研教育资讯

如何在大规模组网前提下，提升通信效率、降低通信占比，进而提升GPU的利用率和模型训练效率，是AI网络要解决的核心问题。数据显示，星脉网络2.0可实现大模型训练过程中，网络通信占比(通信时间占总体时间比例)低至6%，远低于10%的业界水平;通信负载率达到90%，与IB网络(Infiniband)持平，相较于标准以太网提升60%。JnV知多少教育网-记录每日最新科研教育资讯

据悉，腾讯自研星脉网络是一套软硬协同的高性能网络体系，包括自研网络设备、通信协议、通信库以及运营系统四大关键组件，每个组件均采用了业界首创的腾讯关键技术。JnV知多少教育网-记录每日最新科研教育资讯

目前，腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、AIGC存储解决方案、向量数据库以及行业大模型服务MaaS、天御AIGC内容安全解决方案等大模型全链路云服务。超过80%的头部大模型企业使用了腾讯云服务。JnV知多少教育网-记录每日最新科研教育资讯