听AI大佬讲自研大型语言模型的几个坑：1.买到gpu，现货，不是期货2.解决单卡的硬件bug和驱动bug3.实现几千张卡的协同工作，每张卡都得出力，不能摸鱼4.gpu机房要足够稳定，能跑完整个训练周期不掉链子5.才轮到模型算法上场发挥每个环节都得有吃过猪肉的人，工程人员的占比比算法人员高。

发布时间: 2023-08-19 12:51:31

1分

数据加载中

2

1

0

听AI大佬讲自研大型语言模型的几个坑：
1.买到gpu，现货，不是期货
2.解决单卡的硬件bug和驱动bug
3.实现几千张卡的协同工作，每张卡都得出力，不能摸鱼
4.gpu机房要足够稳定，能跑完整个训练周期不掉链子
5.才轮到模型算法上场发挥
每个环节都得有吃过猪肉的人，工程人员的占比比算法人员高。
时政
( twitter.com )

9个月前由 Datou 提交

评论加载中...

您可能感兴趣的：更多

1

1

0

0

大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期7——用Transformer生成文本

#大型语言模型与生成式AI… …
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 0 评论

2

2

1

1

大型语言模型与生成式AI——人类反馈强化学习4——RLHF - 获取人类的反馈信息

#大型语言模型与生成式AI

深入探索生成式AI的世界，了解如何使用基于人类反馈的强化学习（RLHF）来微调大型语言模型（LLMs）。在本视频中，我们将介绍：

1.…
IT技术
( twitter.com)

10个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:06:35

3

2

1

1

Google提出AudioPaLM：一个可以说话和听的大型语言模型。

论文页面：

我们介绍了AudioPaLM，这是一个用于语音理解和生成的大型语言模型。AudioPaLM将基于文…
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 0 评论

4

2

1

1

大语言模型微调之道1——介绍

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

虽然你可能已经知道如何提示一个大语言模型，但这门课程会深入讲解另一个重要工具：微调。…
IT技术
( twitter.com)

9个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:59

5

2

1

1

大语言模型微调之道2——为什么要微调

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

这视频中，我们探讨了为什么要微调大语言模型（LLM）。…
IT技术
( twitter.com)

9个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:14:35

6

2

1

1

【乔布斯全新采访曝光，然而…】这个AI播客背后的公司名为Play.ht。他们主营业务为 AI 文本转换语音生成器，今年9月，发布了第一个语音模型Peregrine，据称，其模型原理与大型语言模型(如 DALE 和 GPT-2 )相近，采用自监督方式训练AI能模仿特定某人的语气和情绪。
大陆资讯
( www.qbitai.com)

1年前 • 猪八戒 • -- 点击 0 评论

7

2

1

1

推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》
这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。
随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。
文章中把 LLMOps 分成了几个关键步骤：
第 1 步：选择基础模型…
IT技术
( twitter.com)

5个月前 • 宝玉 • -- 点击 0 评论

8

2

1

1

吴恩达老师建议大家关注 AI 智能体工作流，可以大幅提升 AI 应用的性能，并且他们总结了一套智能体设计模式：
- 反思：让大语言模型对自己的结果检查改进
- 使用工具：让大语言模型调用外部工具，如网络搜索、代码执行等
- 规划：让大语言模型自己设计一个多步骤的计划来达成目标
-…
IT技术
( twitter.com)

2个月前 • 宝玉 • -- 点击 0 评论

9

2

1

1

昨天湾区GPTDAO线下大预言模型LLM技术交流研讨会在Palo Alto举行大家讨论的很热烈，并聆听有经验的垂类大模型技术专家做了分享，简单记录如下：

标题：揭秘大型语言模型训练流程……
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论