曾推出“全球最大”的AI芯片Wafer Scale Engine（以下简称“WSE”）的芯片初创公司Cerebras Systems，宣布推出了世界上第一个人类大脑规模的AI解决方案——CS-2 AI计算机，可支持超过120万亿参数规模的训练。相比之下，人类大脑大约有100万亿个突触。此外，Cerebras还实现了192台CS-2 AI计算机近乎线性的扩展，从而打造出包含高达1.63亿个核心的计算集群。

资料显示，Cerebras成立于2016年，迄今在14个国家拥有超过350位工程师，2019年Cerebras推出了世界最大AI芯片WSE，2020年Cerebras又推出了新一代的7nm的WSE-2，晶体管数量达到2.6万亿个，震惊业界。

根据官方公布的数据，WSE-2与上一代一样，依然是基于一整张12吋晶圆制造，面积依然是462.25平方厘米，但是制程工艺由台积电16nm工艺提升到了7nm工艺，这也使得WSE-2的晶体管数量提高到了2.6万亿个，同时他的人工智能内核数量也达到了85万个，打破首代WSE 处理器创造的世界纪录。无论是核心数还是片上内存容量均远高于迄今性能最强的GPU。

此次发布的Cerebras CS-2 AI计算机正是采用了WSE-2芯片。同时，Cerebras还将单台CS-2机器可支持的神经网络参数规模，扩大至现有最大模型的100倍——达到120万亿参数。

在国际芯片架构顶级峰会Hot Chips上，Cerebras联合创始人兼首席硬件架构师Sean Lie详细展示了实现这一突破的新技术组合，包括4项创新：

（1）Cerebras Weight Streaming：一种新的软件执行架构，首次实现在芯片外存储模型参数的能力，同时提供像片上一样的训练和推理性能。这种新的执行模型分解了计算和参数存储，使得扩展集群大小和速度更加独立灵活，并消除了大型集群往往面临的延迟和内存带宽问题，极大简化工作负载分布模型，使得用户无需更改软件，即可从使用1台CS-2扩展到192台CS-2。

（2）Cerebras MemoryX：一种内存扩展技术，为WSE-2提供高达2.4PB的片外高性能存储，能保持媲美片上的性能。借助MemoryX，CS-2可以支持高达120万亿参数的模型。

（3）Cerebras SwarmX：是一种高性能、AI优化的通信结构，将片上结构扩展至片外，使Cerebras能够连接多达192台CS-2的1.63亿个AI优化核，协同工作来训练单个神经网络。

（4）Selectable Sparsity：一种动态稀疏选择技术，使用户能够在模型中选择权重稀疏程度，并直接减少FLOP和解决时间。权重稀疏在机器学习研究领域一直颇具挑战性，因为它在GPU上效率极低。该技术使CS-2能够加速工作，并使用包括非结构化和动态权重稀疏性在内的各种可用稀疏性类型在更短的时间内生成答案。

Cerebras首席执行官兼联合创始人Andrew Feldman表示，这推动了行业的发展。美国阿贡国家实验室副主任Rick Stevens亦肯定这一发明，认为这将是我们第一次能够探索大脑规模的模型，为研究和见解开辟广阔的新途径。