一个叫Etched AI的公司宣称他们开创了一项新的技术,将 Transformer 架构直接“烧录”到了芯片中😂
创造出了世界上最强大的专门用于Transformer推理的服务器。可以运行万亿参数的模型!🤔
甩英伟达几百条街🤓
它可以:
• 实时语音代理:能够在毫秒内处理成千上万的词。
• 更好的编码与树搜索:可以并行比较数百个响应。
• 多播推测解码:实时生成新内容。
• 运行未来的万亿参数模型:只需一个核心,支持全开源软件栈,可扩展至100T参数模型。
• 高级解码技术:包括光束搜索和MCTS解码。
• 每个芯片144 GB HBM3E:支持MoE和转换器变体。
详细:https://t.co/NJqPmod6oi
点击图片查看原图
点击图片查看原图