近日，黄仁勋让海外科技圈提前享受了圣诞节的喜悦。由于芯片供应链的波动和封装技术的提升，英伟达推出了全新的B300 GPU，这是对GB200和B200后续产品迭代的一大飞跃。在2023年芯片排行榜中，B300以其强大的AI推理能力和高效的性能，为业界带来了巨大的变化。
B300采用了台积电4NP工艺（5nm制程节点），在浮点运算方面比B200提高50%，热设计功耗达到1.2KW。这不仅提高了计算效率，还减少了能耗。内存容量从8-Hi HBM3E升级到12-Hi HBM3E，每个GPU增加到了288GB，但保持相同的引脚速度，因此每个GPU的内存带宽仍然为8TB/s。
此外，英伟达还优化了GPU内存，以满足OpenAI O3对推理性能更高要求。通过KVCache技术进行优化，使得模型推理速度加快。与H100相比,H200在FP8精度下处理长序列时，加速43%。
虽然AMD也提供有类似的产品，如MI300X、MI325X和MI350X，它们拥有更高的内存容量，但英伟达在NVL72上实现了全互联交换连接和低延迟，全约简操作，使得思维链延迟更低，并支持更长的思维链。此外，由于成本降低，大厂如Meta、谷歌等都选择使用GB300，而非GB200。
英伟达向SXM Puck模块转变，为更多OEM和ODM提供参与供应计算托盘机会，同时VRM由超大规模厂商或OEM直接采购，这一改变使得供应链更加灵活。而800G ConnectX-8 NIC增强横向扩展带宽，为数据中心带来新机遇。
市场信息表明，GB200和GB300延迟发布给硅谷大厂造成影响，上周所有大厂决定使用GB300。这背后的原因包括性能提升、内存增大以及英伟达控制模型训练命运。但亚马逊作为例外，其定制主板限制使其无法部署NVL72，只能使用NVL36，从而导致每个GPU成本更高。
