https://t.co/FCKsZtBjqg 公布Grok的一些信息,我感觉这个内容是马斯克亲自写的😂
里面说:Grok设计灵感来自《银河系漫游指南》,旨在回答几乎所有问题,并且更难的是,甚至建议要问什么问题!
Grok 设计有点幽默感,还有点反叛,如果你不喜欢幽默,请不要使用它!🤣
Grok的技术细节:
1、早期测试阶段:Grok 目前还处于早期的测试阶段,只训练了两个月,但预计将在未来每周都会有所改进。
2、Grok-1 引擎:Grok 的功能由 Grok-1 引擎推动,这是一个在过去四个月中开发的前沿大型语言模型(LLM)。
3.迭代发展:Grok-1 经历了多次迭代。最初的原型 LLM(Grok-0)具有 330 亿个参数,表现接近于 LLaMA 2(700 亿参数)的能力,但训练资源只有后者的一半。
4、显著改进:在过去两个月中,Grok-1 在推理和编码能力上取得了显著的改进,其在 HumanEval 编码任务上的表现达到了 63.2%,在 MMLU 上达到了 73%。
5、超越同类模型:Grok-1 在基准测试中的表现超过了包括 ChatGPT-3.5 和 Inflection-1 在内的同类计算模型,仅次于使用了大量训练数据和计算资源的模型如 GPT-4。
6、高效训练:这些成果展示了 xAI 在高效训练大型语言模型方面取得的快速进展。
7、技术栈:为了创建 Grok,开发团队构建了一个基于 Kubernetes、Rust 和 JAX 的自定义训练和推理堆栈,以提高可扩展性、可靠性和可维护性。
8、未来发展:团队正准备下一次模型能力的飞跃,这将涉及协调数以万计的加速器上的训练运行,运行互联网规模的数据管道,并将新类型的能力和工具构建到 Grok 中。
9、用户试用:在美国,有限数量的用户有机会试用 Grok 原型并提供反馈,以帮助改进模型。
10、发展路线图:团队有一个令人兴奋的路线图,并计划在未来几个月推出新的功能和特性。
详细:https://t.co/IIgtcSRHyz
点击图片查看原图