科学家提出存内计算全新技术路径，提升AI模型计算能效3个数量级

图片地址：https://n.sinaimg.cn/spider20241027/200/w1080h720/20241027/595b-40671e351495d5972f30d2527c9305b7.jpg

随着大数据时代 AI 模型参数量激增，AI 模型推理和训练的成本日益增高，使得 AI 模型难以有效地被布署到边缘计算设备中。存内计算技术是加速 AI 模型的主流路径，它通过在存储器内部原位计算减少数据的搬运，来提高芯片算力与能效。但是，需要了解的是，传统存内计算（single-IMC，single-in-memory computing）架构仍然需要在存储器和处理器之间进行数据传输，仅部分地解决了数据搬运的问题，限制了 AI 模型加速器的进一步发展。为了解决上述问题，北京大学孙仲研究员团队设计了一种全新技术路径的存内计算架构，称为“双存内计算”（dual-IMC，dual in-memory computing）。该架构能够最大程度地加速 AI 模型中的矩阵-向量乘法（MVM，matrix-vector multiplication）计算，如卷积神经网络、二值神经网络、Transformer 模型等，从而实现高速、高能效的 AI