2024
09-20
09-20
中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型 NEW
快科技9月20日消息，中国电信宣布，天翼云自研的国内首个单集群万卡国产化全功能预训练云服务平台，已经正式发布上线，基于华为昇腾芯片，并完成了万卡规模Llama3.1-405B大模型训练。Llama3.1-405B作为4000亿参数规模的大模型，在息壤训推服务平台的支持下，经过多轮优化，MFU(算力利用率)达到国内领先水平。另外，700亿参数大模型Llama2-70B在万卡规模下完成训练，MFU也处于业界领先水平。中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型据...
Read More >