3月19日凌晨,英伟达在GTC大会上发布了一款被称为Blackwell的新型架构。英伟达表示,该架构在训练和运行人工智能基础模型方面的运算速度达到之前芯片的数倍。基于此架构,英伟达也同时发布了B200GPU和GB200“超级芯片”。
英伟达表示,新的B200GPU通过其2080亿个晶体管,提供高达20petaflops的FP4计算能力。两颗B200GPU与一颗Grace CPU结合在一起的GB200,可以提供比单一GPU高30倍的大型语言模型训练和推理负载性能。英伟达CEO黄仁勋表示,通过在90天内用2000个Blackwell架构的芯片,用4兆瓦的功率可以训练最新的人工智能大模型。而若使用旧架构的芯片,这个过程则需要8000张芯片,用15兆瓦功率。
在具有1750亿个参数的GPT-3LLM基准测试中,英伟达表示GB200的性能是H100的7倍,提供的训练速度是H100的4倍。