作者:顺建戏道
来源:原创
时间:2026-05-23
阅读:7460463 次
6岁失联女童遇害
NVIDIA要重塑AI:单用户速度可达2万Token每秒、能耗降1000倍_城市资讯网

了架构,他还以NVFP4精度做了例子对比,用这种精度做一次乘加运算需要消耗10飞焦的能量,但HBM4从外部读取数据大约消耗15皮焦能量,差距是1000倍以上。 改用SRAM缓存的话,读取数据的能耗也会变成10飞焦了,跟计算过程的消耗一个级别。 不过SRAM也不是没代价的,芯片成本比HBM还会高的,GTC
相关搜索
。 目前的技术方案中,芯片从一角到另一角的延迟有几百纳秒之多,NVIDIA的技术方案可以做到30纳秒。 片外通信中,之前的方案是一步步提高带宽速率,现在做到了400Gbps甚至800Gbps,但这样的带宽也带来了复杂的信号处理及纠错机制,但速度如果从400Gbps降低到200Gbps,复杂问题反而会消失
当前文章:http://www.kuaiiilian.com.cn/rl2k/3jb.html
发布时间:08:59:41








