近日，黄仁勋让海外科技圈提前享受了圣诞节的喜悦。由于硅、封装以及芯片背板的问题，英伟达的Blackwell GPU曾多次传出延迟发布的消息，但这并未阻止英伟达持续推进其技术发展。在GB200和B200发布六个月后，英伟达宣布将推出全新的GPU GB300和B300。外界可能看起来像是一个循序渐进的过程，但实际上，这是一种非常高效的迭代。全新GPU为大模型的推理和训练性能带来了巨大的提升，对于大模型公司和存储供应商来说，无疑是一份巨大的圣诞礼物。
B300是台积电4NP工艺（英伟达定制工艺，属于5nm制程节点的一部分）节点上的一个全新流片。这种定制化工艺做了调整设计，专用于计算芯片，使得B300浮点运算比B200高50%，而GB300和B300的热设计功耗分别达到1.4KW和1.2KW，比GB200和B200更低的是1.2KW和1KW。此外，内存从8-Hi（8层堆叠）升级到12-Hi HBM3E，每个GPU容量增加到288GB，但引脚速度保持不变，所以每个GPU内存带宽仍然是8TB/s。不过，由于三星没有收到黄仁勋带来的礼物，他们至少在未来九个月内都不会获得GB200或GB300订单。
此外，NVL72对推理性能产生了显著影响，它使得72个GPU能够处理同一个问题，并共享内存，同时延迟极低。世界上没有其他加速器拥有全互联交换连接以及能通过交换机进行全约简操作。NVLL72为实现许多关键功能带来了显著变化：更高交互性使思维链延迟更低；分散KVCache以实现更长思维链（增强智能）；与典型服务器相比，更好的批量大小扩展成本更低；可以搜索更多样本以提高准确性，最终提升模型性能。
总之，在大模型竞赛中，最具能力与差异化能力的模型能够收取显著溢价，而落后的模型毛利率则很低。在这个背景下，加强AI推理性能成为关键，而英伟达在这一领域取得突破，为客户提供了更加经济高效的大规模数据处理解决方案。这无疑是对当前市场环境的一次重大回应，也预示着未来的竞争格局将会有所改变。而对于那些依赖于特定硬件组合来执行复杂任务的人来说，不仅需要关注设备自身是否足够先进，还要考虑整个生态系统如何协同工作，以便实现最佳效果。这也意味着对于各行各业来说，都需要不断适应不断变化的地缘政治环境，以及全球供应链动态，从而确保业务连续性并且保持竞争力。
