快科技8月10日消息,据国内媒体报道,华为将于8月12日在2025金融AI推理应用落地与发展论坛上,发布AI推理领域的突破性技术成果。
据透露,这项成果或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能,完善中国AI推理生态的关键部分。

HBM(High Bandwidth Memory,高带宽内存)是一种基于3D堆叠技术的先进DRAM解决方案,多层DRAM芯片垂直集成,显著提升数据传输效率。具有超高带宽与低延迟、高容量密度、高能效比等优势。
AI推理需频繁调用海量模型参数(如千亿级权重)和实时输入数据。HBM的高带宽和大容量允许GPU直接访问完整模型,可避免传统DDR内存因带宽不足导致的算力闲置。对于千亿参数以上的大模型,HBM可显著提升响应速度。
当下,HBM已成为高端AI芯片的标配,训练侧渗透率接近100%,推理侧随模型复杂化加速普及。
然而,其产能紧张和美国出口限制倒逼国内厂商探索Chiplet封装、低参数模型优化等替代方案。
()
(来源:站长之家)
免责声明:本站文章部分内容为本站原创,另有部分容来源于第三方或整理自互联网,其中转载部分仅供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对其内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。