COMET – 字节开源的通信优化系统

COMET是字节跳动推出的针对Mixture-of-Experts(MoE)模型的优化系统,能解决分布式训练中通信开销过大的问题。基于细粒度的计算-通信重叠技术,COMET将通信与计算操作深度融合,消...
4周前
030