对四个10B左右参数模型的研究表明，微调数据量并不是越大越好。Alpaca 数据集 52k 效果弱于 9k。

发布时间: 2023-08-03 20:03:42

1分

数据加载中

关注推特

收听电报

对四个10B左右参数模型的研究表明，微调数据量并不是越大越好。

Alpaca 数据集 52k 效果弱于 9k。
时政
( twitter.com )

1年前由九原客提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

TF-ID
用于提取论文中表格和图形 (Table/Figure IDentifier) 的模型，基于 Microsoft Florence-2 模型微调实现。
开源微调模型：
TF-ID 模型系列共包含 4 个模型：
> TF-ID-base
0.23B 参数，带标题提取，准确率 97.29%
> TF-ID-base-no-caption
0.23B 参数，不带标题提取，准确率
时政
( twitter.com)

9个月前 • meng shao • -- 点击 0 评论

复旦团队：全参数微调用于资源有限的大语言模型

单台机器能够微调65B参数的LLaMA

这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。

代码库：…
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论

微软被曝正自研AI大模型：5000亿个参数，与谷歌和OpenAI竞争
大陆资讯
( www.thepaper.cn)

11个月前 • 你的溢达 • -- 点击 0 评论

闪电预览

🔥🔥🔥 这是一个精心策划的多模态大型语言模型（MLLM）列表,包含了260个论文，Pdf和github链接，整理的调理清晰，适合研究使用

包括两大部分：模型和数据集
模型论文
-基础模型，指令调整，情景学习，思维链条，视觉推理…
IT技术
( twitter.com)

1年前 • Will 3.6-6.16 硅谷 • -- 点击 0 评论

马斯克的大模型 Grok-1 开源了，这是一款拥有3140亿参数的先进混合专家模型，截止目前参数量最大的开源大语言模型。
这个版本包含了Grok-1在2023年10月完成预训练阶段时的基础模型数据。这意味着模型尚未经过针对特定应用（如对话系统）的微调。
根据Apache…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

最新开源模型选择个人推荐（超过40B的建议购买API服务，其他则建议自行int4部署）。
中文 RAG 选择 CommandR+
Agent/FunctionCalling 使用 Llama3-70B 或 CommandR+
中文文案写作用Qwen-72B，语言更Local一些。
特定任务的小参数微调base模型用 Llama3-8B 或 Mistral-7B
大参数微调base 模型用 Yi-34B
时政
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

🎉大语言模型的安卓时刻真的来了啊!? 这次又是微软！

微软研究院的发布了 🐳#Orca模型：

13B参数，能力达到了ChatGPT-3.5的水平，甚至超越了Vicuna 113%!

尽管与GPT-4相比还有一定的差距，但它已…
IT技术
( twitter.com)

1年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

Orca: 微软研究院上周发布的论文，打破了小模型只能模仿大模型的语言风格而不能学到推理能力的假设。通过让小模型学习 GPT-4/3.5 的五百万次推理过程，在 13 billion 参数的情况下，做到了等同甚至超过 ChatGP…
推特中文圈
( twitter.com)

1年前 • Quinn Leng • -- 点击 0 评论

对四个10B左右参数模型的研究表明，微调数据量并不是越大越好。 Alpaca 数据集 52k 效果弱于 9k。 时政 ( twitter.com )

时政

时政

复旦团队：全参数微调用于资源有限的大语言模型 单台机器能够微调65B参数的LLaMA 这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。 代码库：… IT技术 ( twitter.com)

IT技术

微软被曝正自研AI大模型：5000亿个参数，与谷歌和OpenAI竞争 大陆资讯 ( www.thepaper.cn)

大陆资讯

IT技术

IT技术

时政

🎉大语言模型的安卓时刻真的来了啊!? 这次又是微软！ 微软研究院的发布了 🐳#Orca模型： 13B参数，能力达到了ChatGPT-3.5的水平，甚至超越了Vicuna 113%! 尽管与GPT-4相比还有一定的差距，但它已… IT技术 ( twitter.com)

IT技术

IT技术

推特中文圈

创建一个新帐户

登录

对四个10B左右参数模型的研究表明，微调数据量并不是越大越好。

Alpaca 数据集 52k 效果弱于 9k。
时政
( twitter.com )

复旦团队：全参数微调用于资源有限的大语言模型

单台机器能够微调65B参数的LLaMA

这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。

代码库：…
IT技术
( twitter.com)

微软被曝正自研AI大模型：5000亿个参数，与谷歌和OpenAI竞争
大陆资讯
( www.thepaper.cn)

🎉大语言模型的安卓时刻真的来了啊!? 这次又是微软！

微软研究院的发布了 🐳#Orca模型：

13B参数，能力达到了ChatGPT-3.5的水平，甚至超越了Vicuna 113%!

尽管与GPT-4相比还有一定的差距，但它已…
IT技术
( twitter.com)