！！真正的全过程开源的中英文双语大模型。1. 4.7T tokens 的中英文清洗后语料，配比挺合理。2. 扫描PDF 转 Markdown 的工作流，可以识别图片、表格和公式！！！3. 中英文的预训练数据处理 Pipeline，拿来即用～4. 最终的 7B…

发布时间: 2024-05-11 14:30:31

1分

数据加载中

关注推特

收听电报

2

1

0

！！真正的全过程开源的中英文双语大模型。
1. 4.7T tokens 的中英文清洗后语料，配比挺合理。
2. 扫描PDF 转 Markdown 的工作流，可以识别图片、表格和公式！！！
3. 中英文的预训练数据处理 Pipeline，拿来即用～
4. 最终的 7B…
时政
( twitter.com )

11个月前由九原客提交

！！真正的全过程开源的中英文双语大模型。

4.7T tokens 的中英文清洗后语料，配比挺合理。
https://t.co/IohUNvVdBF
扫描PDF 转 Markdown 的工作流，可以识别图片、表格和公式！！！
https://t.co/levpPBVnbG
中英文的预训练数据处理 Pipeline，拿来即用～
最终的 7B 预训练模型以及预训练阶段、Decay阶段、scalinglaw测试中全部的 ckpt 方便进行研究。

https://t.co/2iSBQc5brD

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

我大鹅厂也开始开源了，希望别烂尾。
腾讯正式公布，旗下混元文生图大模型已完成升级，并对外开源。
此次升级的模型采用了与Sora相同的DiT架构，不仅能够支持文生图，也能作为视频等多模态视觉生成的基础。
这是业界首个中文原生的DiT架构文生图开源模型，支持中英双语输入及理解，15亿参数。
时政
( twitter.com)

11个月前 • Leo Xiang • -- 点击 0 评论

2

2

1

1

说的太对了，那么多开源大语言模型，真没有超过GPT-3.5的
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

3

2

1

1

给清华开源的中英双语对话模型 ChatGLM-6B 的第二代版本ChatGLM2-6B 做了一个 Colab，目前跑在默认情况下，模型以 FP16 精度加载，运行需要大概 13GB 显存。…
IT技术
( twitter.com)

1年前 • lewang🍥 • -- 点击 0 评论

4

2

1

1

斯坦福2023年公开课CS25 - 大语言模型中的涌现和规模（中英文字幕）

这是斯坦福2023年公开课CS25的第三课：《Emergent Abilities and Scaling in LLMs | 大语言模型中的涌现和规模…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）

这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

3

2

2

目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

与之相比，中文开源模型虽多，数据集却很少开源。
时政
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

7

2

1

1

《开源大模型食用指南》基于 Linux 环境快速部署开源大模型，更适合中国宝宝的部署教程
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

8

2

1

1

有时碧山的乐高 MOC 模型重建全过程【三分钟展示十二天乐高MOC模型重建过程，乐高模型和真实建筑双完工撒花-哔哩哔哩】
时政
( b23.tv)

7个月前 • 骆逸 • -- 点击 0 评论

9

2

1

1

Google刚刚发布了开源大语言模型 Gemma，这是对标 LLAMA 2 的开源大语言模型。
Gemma是一系列基于创建Gemini模型所使用的相同技术与研究的、在其领域内技术领先的轻量级开源模型。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

0.21721 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特