site stats
漏了!OpenAI原本打算开放权重的模型泄露了!刚才 HuggingFace 上有人上传了 openai-oss-120B 和 openai-oss-20B 模型, 立刻整合了所有信息给大家做一个解读。首先最重要的是 120B 那个是个 MoE,激活参数大概是 5B,128 专家每次激活 4 个专家。原生只有 4K 上下文,通过 YaRN 扩展到
发布时间:
1
数据加载中
Markdown支持
评论加载中...
您可能感兴趣的: 更多