英伟达B300：AI推理的「加速器」供应链的「下马威」，数字芯片领域的一次革命性变革。它不仅提升了大模型的推理和训练性能，更是为存储供应商带来了巨大的圣诞礼物。全新GPU B300采用台积电4NP工艺，提供更高的浮点运算性能，并且内存容量从8-Hi升级到12-Hi HBM3E，每个GPU的HBM容量增加到288GB。
然而，这次改进背后，是为了满足OpenAI O3对推理性能更高要求。在处理长序列时，B300能够实现更高批处理大小和交互效率，缩短推理时间，从而增加用户付费意愿。此外，NVL72技术使得72个GPU能够共享内存和延迟极低，为关键功能带来了质的飞跃。
在GB300设计上，有着显著改动，对于GB200，英伟达提供整个Bianca板；但对于GB300，只提供“SXM Puck”模块上的B300以及Grace CPU。客户现在需要自主采购计算板上其余组件，这一转变为更多OEM和ODM提供了参与供应计算托盘的机会。
市场信息表明，GB200和GB300延迟发布给硅谷的大厂们带来了很大的影响，而这背后传递出的信号是从第三季度，大量订单转向了GB300。截至上周，大部分大厂都决定使用GB300，一部分原因是更高的性能和更大的内存，以及英伟达已经控制了大厂模型训练命运。这也导致Meta、谷歌等公司放弃自家的网络接口卡，以完全依赖英伟达。
亚马逊是一个例外，他们选择定制化配置，但不得不使用NVL36，因为无法部署NVL72。这使得亚马逊构建自己的定制主板，并期待K2V6 400G NIC在2025年第三季度支持HVM，以便使用NVL72架构。
