新关注 > 信息聚合 > 对话郑纬民院士:用超算做AI大模型训练,成本只需英伟达1/6

对话郑纬民院士:用超算做AI大模型训练,成本只需英伟达1/6

2024-12-31 00:00:00来源: 新浪科技

文 丨 新浪科技 周文猛 在训练人工智能大模型的过程中,采购超级计算服务或存储器,也正在成为有效缓解算力焦虑的新途径。 近日,中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出,“过去训练一个大模型要投入几十亿,但如果把大模型训练拿到超算上去做,价钱只需要用到英伟达的六分之一。” 此外,郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开发的Mooncake技术框架为例,介绍了该技术基于“以存换算”思路,帮助月之暗面kimi智能助手缓解算力紧张需求的原理,从而避免服务器宕机。 “把大模型训练搬到超算上,价钱只需英伟达1/6” 郑纬民看到,在经过ChatGPT发布后全球各科技企业快速追赶后,今年大模型有两个特点:第一,基础大模型进入多模态状态,不只有文本,还有图像、视频等;第二,真的用起来了,大模型正与各行业实际的结合,比如大模型+金融,大模型+医疗、大模型+汽车、大