最近发布的另一篇对模型微调有深刻影响的论文 QLoRA 。通过在信息学上的优化以及对英伟达统一内存的运用，做到了在 48GB 显存的 GPU 上不到 24 小时就能微调 65 billion 参数的模型，在此之前需要用到 780G…

发布时间: 2023-06-13 14:40:31

0分

数据加载中

关注推特

收听电报

1

0

-1

最近发布的另一篇对模型微调有深刻影响的论文 QLoRA 。通过在信息学上的优化以及对英伟达统一内存的运用，做到了在 48GB 显存的 GPU 上不到 24 小时就能微调 65 billion 参数的模型，在此之前需要用到 780G…
IT技术
( twitter.com )

1年前由 Quinn Leng 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

看了两篇最近比较火的论文，里面说的内容太过于牛逼，让我感觉有点吹牛 😂：

1. QLoRA：最大亮点是降低微调模型所需的硬件资源。使用这个技术，只需要用 48G 的 GPU 就能微调 650 亿参数的模型，同时还保留 16 位微…
推特中文圈
( twitter.com)

1年前 • JimmyWong • -- 点击 0 评论

2

2

1

1

大语言模型微调之道1——介绍

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

虽然你可能已经知道如何提示一个大语言模型，但这门课程会深入讲解另一个重要工具：微调。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:59

3

2

1

1

微软刚刚发布了多模态大语言模型的论文：Language Is Not All You Need

模型命名为：MOSMOS-1

论文地址：
图片
( arxiv.org)

2年前 • Jiayuan • -- 点击 0 评论

4

2

1

1

昨天的一篇论文《Dissecting In-Context Learning of Translations in GPTs | 深入分析 GPTs 在机器翻译中的上下文学习》主要提供了两个有价值的信息：
1. 使用LLM（大语言模型）翻译时，上下文对翻译质量影响很大。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

师门对研究生会产生什么影响？一篇旧论文近日再度热传
大陆资讯
( www.thepaper.cn)

1年前 • 开的拉客 • -- 点击 0 评论

6

2

1

1

微软在最近发布的一篇论文中对 GPT-4 进行了全面评测。微软认为「鉴于 GPT-4 能力的广度和深度，我们相信它应该被合理视作一个通用人工智能（AGI）系统的早期（但仍不完整）版本。」
大陆资讯
( www.jiqizhixin.com)

2年前 • 新白娘子玩传奇 • -- 点击 0 评论

7

4

3

3

对大家影响最深的一部电影是什么呢？

我的话是《About Time》/《时空恋旅人》

享受当下的每一刻。
时政
( twitter.com)

1年前 • Jess • -- 点击 0 评论

8

2

1

1

Nijijourney发布了最新的默认风格，他们没有明确说这个风格与之前风格的不同点，从上周的开发者周报来看，他们对整个模型的风格倾向性做了微调。… …
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

9

2

1

1

深度学习是一个很复杂的领域，尤其是对我这种数学半吊子水平的人，但的这两本书我竟然能看懂一些，以至于最近还写了一篇超九千字的《ChatGPT背后的语言模型简史》文章来梳理深度学习在自然语言处理上语言模型的发…
推特中文圈
( twitter.com)

1年前 • madawei • -- 点击 0 评论

0.24952 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特