1. 首页 > 财经

Cerebras发布全球最快AI推理服务

英伟达即将发布二季报之际,Cerebras Systems抢先推出了号称全球最快的AI推理服务,宣称比英伟达H100 GPU系统快十到二十倍。英伟达目前在AI训练和推理市场占据主导地位,但Cerebras自2019年起便致力于挑战英伟达。

Cerebras此次推出的新服务不仅开辟了基于使用量的收入渠道,还对英伟达发起全面挑战。Cerebras CEO安德鲁·费尔德曼表示,新服务在速度和成本上均有显著优势。演示显示,Cerebras处理速度达到每秒1832个tokens,而AWS仅每秒93个。此外,Cerebras的服务性价比是AWS等云服务商的100倍。

Cerebras的WSE-3芯片是其优势的关键。这款芯片面积约为462.25平方厘米,是当前最大GPU面积的56倍。WSE-3内置大量片上存储器,容量高达44G,内存带宽是英伟达H100的7000倍。这种设计使Cerebras能快速处理数据并生成推理结果。未来,Cerebras计划在全球多地建立AI推理数据中心,并按请求次数收费,同时向云服务商出售基于WSE-3的计算系统。