中国电信申请基于GPU网络拓扑的大模型容量编排专利，提高大模型训练的训练性能和训练效率及训练资源的利用率lg...

摘要：金融界2024年1月13日消息，据国家知识产权局公告，中国电信股份有限公司申请一项名为“基于GPU网络拓扑的大模型容量编排方法、系统及介质“，公开号CN117391163A，申请日期为2023年10月。专利摘要显示，本发明公开了基于GPU网络拓扑的大模型容量编排方法、系统及介质，方法包括检测多个设备之间的网络带宽信息，设备包括GPU和第一设备，根据网络带宽信息，以GPU和第一设备作为节点，以连接两个设备的通道作为初始链路，以每条初始链路的网络带宽信息和类型作为边，构建设备网络拓扑；获取训练请求，根据设备网络拓扑选择与训练请求对应的训练网络拓扑；根据训练网络拓扑创建大模型容器，通过配置大模型容器执行与训练请求对应的训练任务。本发明通过设备网络拓扑能够发现GPU之间的网络带宽，使得容器的编排能够满足GPU之间的带宽需求，提高了大模型训练的训练性能和训练效率及训练资源的利用率。本发明应用于大模型训练技术领域。