近日，黄仁勋让海外科技圈提前享受了圣诞节的喜悦。由于硅、封装以及芯片背板的问题，英伟达的Blackwell GPU曾多次传出延迟发布的消息，但这并未阻止英伟达持续推进产品更新。在GB200和B200发布后仅半年时间，英伟达宣布将推出全新的GPU GB300和B300。外界可能看起来像是一个循序渐进的过程，但实际上，这是一种非常高效的迭代策略。
全新GPU为大模型的推理和训练性能带来了巨大的提升，对于大模型公司和存储供应商来说，无疑是一份巨大的圣诞礼物。B300是使用台积电4NP工艺（英伟达定制工艺，属于5nm制程节点的一部分）生产的一个全新流片。这种定制化工艺做了一个调整设计，专用于计算芯片，使得B300在浮点运算方面比B200提高50%。
此外，B300内存从8-Hi（8层堆叠）升级到12-Hi HBM3E，每个GPU的HBM容量增加到了288GB，但引脚速度保持不变，因此每个GPU的内存带宽仍然是8TB/s。不过，由于三星没有收到黄仁勋带来的礼物，他们至少在接下来的9个月内不会获得GB200或GB300订单。
此轮GPU内存升级背后的关键，是为了满足OpenAI O3对推理性能更高要求。OpenAI O3采用KVCache技术优化模型推理能力，即通过缓存注意力机制中的键（Key）和值（Value），减少冗余计算，从而提高模型推理速度。这需要缓存之前数据，只对新输入Token进行计算，所以对缓存性能提出了更高要求。
图表展示了不同批处理大小下，以H100和H200两种GPU处理长序列时，大型开放源码模型Llama3.1405B在FP8精度下的处理速度。在输入设置为1000个Token、输出19000个Token模拟OpenAI o1和o3中思维链的情况下，比起H100，在所有可比较批处理中交互效率通常提高43%，运行更高批处理但成本降低至原来的三分之一。
这些改进对于大型模型竞赛尤其重要，因为最具能力与差异化的大型模式能够收取显著溢价，而头部模式毛利率超过70%，落后模式则低于20%。当然，不仅英伟达，还有ASIC等公司也能提供类似的提升，并且AMD在这一领域可能处于更加有利的地位，其MI系列产品提供了192GB、256GB甚至288GB内存容量，更远超英伟达标准。
NVL72作为一种关键组件，它使得72个GPU能够共享内存在同一问题上，并且延迟极低，没有其他加速器拥有这样的交换连接及操作性质。此外，更好的交互性使得思维链延迟更低，而72个分散KVCache实现更多样化智能；相比之下，与典型服务器相比，更好的扩展性成本更低；可以搜索更多样本以提高准确性，最终提升整体表现。而NVLL72因此在长期思维链上的效果提升10倍以上，其中包括经济效益优势与长期思维链需求协调所需大量内存空间占用情况下的有效解决方案，为用户提供了极佳价值创造机会。
然而，这一切变化也导致了一场“转身”，即英伟达对于其平台架构的一次重大调整。在整个BIanca板（含Blackwell GPU, Grace CPU, 512G LPDDR5X, VRM全部集成一块印刷电路板）的基础上，将由SXM Puck模块上的B300以及Grace CPU BGA封装替代，以及由美国初创公司Axiado提供混合内存立方体(HMC)替换Aspeed供应商。此外，将继续保留交换托盘及铜背板供给客户自行采购剩余组件，如LPDDR5X使用LPCAMM模块而非焊接形式，以美光或其他厂商为主导来源。此举不仅增强OEM/ODM参与制造平台托盘功能，也改变了纬创资通失去BIanca板份额，同时工业富联虽然失去了BIanca板但因独家SXM Puck生产者地位而获益均衡。一旦找到多家SXM Puck供应商，就会进一步扩展市场范围。但目前还未发生实际订单确认的情况出现。
VRM电压调节模块方面，则采取了一些灵活措施，一部分VRM仍然嵌入SXM Puck中，但主要VRM由超大规模厂商或者OEM直接从VRM供应商处采购。此举意味着客户购买过程中的选择更加自由。
最后，为支持InfiniBand 和以太网横向扩展带宽翻倍，英伟达提供800G ConnectX-8 NIC网络卡。这项决定影响到市场信息显示自第三季度以来，大量订单转向GB300端口。而这一信号传递出来的是尽管如此，由于产品发布时间、机架设计、冷却系统及功率密度等重大变动，大厂无法太多地修改服务器层面配置，因而放弃希望从博通或博通两个渠道同时采购网络接口卡(NICs)，转而完全依赖英国戴尔(Dell)合作伙伴关系。
亚马逊则是一个例子，它选择“”次优配置选项，因为它采用PCIe交换机以及效率较低200G弹性织物适配器NIC，而不能像Meta 或谷歌那样部署NVL72结构不得不使用NVL36架构，每颗独立单元成本较高因为内容丰富。
总结来看，全新的GPUs不仅为大规模应用场景注入强劲动力，而且还塑造了一段关于如何利用技术创新促进业务增长、新兴市场机会与全球领导力的故事。本篇文章探讨了以下几个核心议题：首先，我们深入分析了解何原因导致某些企业迅速适应并掌握最新技术趋势？其次，我们评估当前市场环境是否已经准备好迎接这样快速发展步伐？再者，我们探索这些变化如何影响行业格局乃至整个经济结构？
通过分析我们发现，当企业勇敢追求创新时，他们往往能夺得竞争优势，并随之吸引投资者的青睐。如果你想了解更多关于未来科技趋势及其潜在影响，请继续关注我们的报道！
