大语言模型微调之道3——微调在训练过程中的位置 #大语言模型微调之道… , page 4

sign_in_with_google

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

30186 位用户此时在线

24小时点击排行 Top 10：

2024-6-15 今日热点汇总：普京怂了，请求停战！朝鲜惊现勇士泼墨金正恩的爷爷纪念碑金日成；G7 发表声明呼吁中国停止支持俄罗斯；重庆 80 后银行女职员拍视频深情表白 60 后行长；网传中共上海副部长偷自行车被抓；女儿因学业家里轻生父亲哭诉没教好孩子；知名经济学家许小年炮轰林毅夫；母亲因质疑孩子被为脑死亡并拒绝捐献遗体，遭医生粗暴对待，并让其滚蛋；上海政府透露正在中国测试 FSD 自动驾驶

想象一下这就是艺术？！

当年，这个河南人诅咒，叫雨都下到英国。她的老天爷显灵了，让她的河南老乡享受旱灾。

Sunnyvale, California. Somehow this keeps happening.

俄罗斯对伊万诺夫卡附近乌克兰阵地的发动的第三次袭击，疯狂程度超过了以往的所有袭击。视频中一位无忧无虑的俄罗斯肉虫，他坐在 BMP-2 装甲上，悬着双腿，直到乌克兰无人机到来。在首次攻击后，肉虫们爬行并分散到灌木丛中。

厲害了你們的國

我说整个3亿美国，真正懂中国的人，也就一个人。他就是博明。你听听他对台海战争预期的剖析，比中国人还懂中国政治。

:严格按照规定办事,一大车西瓜超0.3公斤都不行……

许小年的眼神言辞，锋利得像一把刀，出手精准，直刺要害。年初，林毅夫又说，中国有望在2025年，成为高收入国家；如果没实现，就是2026年。这段对话是2013年，经济学家许小年，就发现林毅夫有特别任务。女记者问怎么看林毅夫的新结构经济学，他一脸无奈地直言，“我根本不知道什么叫新结构经济学，本人

6月15日，四川。网传一名十多岁的女孩持刀在街上乱砍，随后被众人制服。

单田芳：中国人，尤其是东北人，对俄国人没有好印象。

6月15日上午，有网友反映湖南湘西楼龙山县数名城管人员与商户发生分歧，一男子被按压在地上，遭到拳打脚踢。知情人士称，事发地位于龙山县北正街，被为殴的是做腊肉生意的商户。辖区派出所：已接到关于此事的警情。龙山县政府表示，相关情况正在调查处置

一则科普短片揭示中国历史教科书天马行空造假的冰山一角：历史教科书上的张衡地动仪是仿造的，外型到原理均错，预防地震不如一支倒立的啤酒瓶。历史教科书上的司南也是仿造的，新教科书甚至不敢提“四大发明”了。这两件物品均是历史记载，均无任何实物传世，后人据记载防制就当成真的记入历史教科书。

6月14日傍晚，新西兰奥克兰街头中国总理李强的车队经过时，迎接李强到访的队伍和抗议李强到访的队伍发生激烈冲突。

一个巴勒斯坦母亲，在得知儿子成为“烈士”的消息后欢呼雀跃，庆祝自己孩子的死亡。 “英雄母亲”？还是无人性母亲？

【两千年未变之大便局】两千多年过去了，上面坐着的还是皇帝，下面跪着的还是奴才，这片土地上的人们还是没有站起来…… #习近平 #搞笑 #漫画 #梗图

6月14日，河南多地终于盼来短暂降雨，老乡们难以抑制内心的喜悦，当地一位农民开心的手舞足蹈，跪地磕头感谢上苍。

金正恩他爷爷金日成的纪念碑，被朝鲜猛士给泼墨了。而且还拍下了视频，到处流传，说这是为了“结束朝鲜的世袭统治”。👍 「我们将破坏遍布全国、比墓碑还多的金家痕迹，这些痕迹是为了荒谬的领袖神化而设立的。‘新朝鲜’的大扫除已经开始。」

6月14日，网传一张日签地区黑名单显示，疑因近期旅客非法滞留日本事件高发，有关部门对商家发布了高危人群和旅客非法滞留日本高发地区汇总。

中国人民热爱他，习近平肯定无地自容，恼羞成怒。一．

在美國，一名警察想要拍攝一段他用手撫摸一名女孩胸部的私人視頻，後來，被人發現了這段影片，他被解僱併罰款 3,000 美元。

6月14日，江苏徐州。一名外卖小哥送餐回来发现车上还未送的外卖被人偷了，小哥崩溃大哭

狗东西，看你以后还敢救死扶伤

6月14日，河南固始县。一男子发视频称，他的女儿于10日轻生，只留下成箱的课本和厚厚一沓的试卷。男子表示自己非常后悔，自己没有教会孩子放下学习压力。希望能引起学校和家长的重视，不要过多追求孩子的成绩，不要太压迫孩子。

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

大语言模型微调之道3——微调在训练过程中的位置

#大语言模型微调之道…
IT技术
( twitter.com )

9个月前由宝玉提交

大语言模型微调之道3——微调在训练过程中的位置

#大语言模型微调之道

在这节课，我们深入探讨了训练中微调的真正位置和它的重要性。微调是一个关键步骤，发生在预训练之后，帮助我们优化模型以适应特定的任务。刚开始，模型是完全随机的，对世界知之甚少。但通过大量从互联网上抓取的数据预测下一个词，模型逐渐学习并掌握了语言。

我们还讨论了如何为微调准备数据。从抓取的数据到更结构化的问题答案格式，每种格式都有其优点。而微调的数据需求比预训练少得多，因为我们是在已有的模型基础上进行优化。这意味着，与其从头开始，不如在已有的知识上进行建设，使其达到更高的水平。

此外，微调不仅仅是技术层面的。它可以明显改变模型的行为，使其更适应特定场景或任务。例如，在聊天界面中，我们希望模型能够提供更稳定和聚焦的回应。通过微调，模型的响应性和准确性都得到了显著提高。

最后，我们也展望了未来的课程内容。下一节，我们将专注于一种特别的微调方法——指令微调。这是一个非常实用且强大的方法，希望大家不要错过！

课程地址：https://t.co/LgsFiv9DQf

YouTube：https://t.co/W60XfOyKZ9
B站：https://t.co/0GRNNMoG8H

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
7
8
9
...
400
下一页

1

2

1

1

【2023年全国微型小说优秀奖：《来》】
获奖理由:文字虽通俗简练,却饱含海量信息,体现了中国语言的博大精深。
时政
( twitter.com)

11个月前 • 章立凡 ©️Zhang Lifan💎 • -- 点击 0 评论

2

2

1

1

马斯克称中国的人工智能有潜力称冠全球，但台湾数位部长唐凤在接受美国之音专访时表示，言论审查对中国AI的应用与研发形成障碍。在自由民主世界训练出来的开源语言模型，反过来也对中共的极权政体造成很大挑战。文字报道：
时政
( www.voachinese.com)

8个月前 • 美国之音中文网 • -- 点击 • 下载视频 0 评论

00:01:57

3

2

1

1

推荐阅读：《构建企业级大语言模型应用的秘诀：GitHub Copilot 的实践之路》
GitHub Copilot 是目前最成功的大语言模型应用之一，可以帮程序员自动生成可用的代码，已经有超过一百万付费用户。
GitHub Copilot…
IT技术
( twitter.com)

6个月前 • 宝玉 • -- 点击 0 评论

4

2

1

1

推荐阅读：《Chess-GPT's Internal World Model》，作者从头训练了一个只有 50M 参数的小语言模型“国际象棋 GPT”，专门下国际象棋。一款拥有 5000 万参数的 GPT 模型，在 4 块 RTX 3090 显卡上训练了一天后，通过分析 500 万局国际象棋对局，达到了约 1300 ELO 的棋力。
最初作者是打算基于开源模型如…
IT技术
( twitter.com)

5个月前 • 宝玉 • -- 点击 0 评论

5

2

1

1

Voicebox：文本引导的多语言规模化通用语音生成

像GPT和DALL-E这样的大规模生成模型已经彻底改变了自然语言处理和计算机视觉研究。这些模型不仅可以生成高保真度的文本或图像输出，而且还是通才，可以解决没有明确训练过的任务…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

2

1

1

生成式 AI 入门教程 3 - 什么是生成式 AI - 大语言模型作为思考助手

视频描述：…
IT技术
( twitter.com)

7个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:04:46

7

2

1

1

中共对语言的破坏
用受过训练的声音说鬼话
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 • 下载视频 0 评论

00:00:42

8

2

1

1

大模型训练超参可视化出现“分形”效果！
有人将神经网络训练中超参数（学习率）和收敛的关系进行了可视化，发现了神奇的分形效果，不得不感叹规律和数学之美无处不在啊。
本质上分形就是重复调用同一个方法，这跟模型训练本质是类似的，这也可能是出现“分形”的原因。
原文：
时政
( sohl-dickstein.github.io)

4个月前 • nash_su - e/acc • -- 点击 • 下载视频 0 评论

00:01:12

9

2

1

1

强烈赞同这个观点，模型/算法/数据，数据=知识➕经验。
所谓知识，是被语言化之后，可以通过学习去获得的；而经验，是在一个具体场景里的充分知识，世界上的绝大部分经验都未被语言化(文字化→数据化)，且需要通过大量的训练来获得。…
时政
( twitter.com)

1个月前 • Janet • -- 点击 0 评论

10

2

1

1

模型越大越爱拍马屁，谷歌大神Quoc Le团队新作：用简单合成数据微调即可解决
大陆资讯
( www.thepaper.cn)

10个月前 • 墙头看世界 • -- 点击 0 评论

11

2

1

1

ChatGPT Voice的提示词

你是ChatGPT，一个由OpenAI训练的、基于GPT-4架构的大型语言模型。

用户在手机上通过语音与您交谈，您的回答将通过逼真的文本转语音 (TTS) 技术大声朗读。制定回复时请遵循此处的每个指示：使用清晰易懂的自然对话语言（短句、简单单词）。…
IT技术
( twitter.com)

8个月前 • 小互 • -- 点击 0 评论

12

2

1

1

手把手教你训练你自己的AI歌手，最重要的一步来了。如何训练歌手的模型。这一步主要由两部分组成数据处理和模型训练。
这个林俊杰是我自己训练的4800步的模型，对比一下上一篇教程里的孙燕姿模型有两万多步，数据的质量也很重要。
感谢各位…
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

13

2

1

1

网友投稿
今日微博热搜，南京航空航天大学一教师在课堂上发表不当言论，目前校方已经启动调查程序。
图2-3，网传该教师言论
时政
( twitter.com)

1年前 • 李老师不是你老师 • -- 点击 0 评论

14

2

1

1

金融专用大模型：BloombergGPT
500亿参数，训练成本超过1300万，用AWS64台8xA100训练53天完成核心模型训练。
主要实现问答、新闻头条编写、生成BQL等
按青云相同配置价格粗略计算训练成本1300W+
然而…
推特中文圈
( twitter.com)

1年前 • nash_su • -- 点击 0 评论

15

2

1

1

MetaAI的MMS 模型在HF的demo地址：

🌍 支持超过1,000种语言。
🎙️ 1,107种语言的多语种自动语音识别模型、语音合成模型
🔍 4,017种语言的语种识别模型。
📉与Whisper相比，词错误率减少了一…
IT技术
( twitter.com)

11个月前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

16

2

1

1

中共国发布全球民调：96.5%的中国网民要求对美国进行新冠病毒溯源调查。
中共国官媒中国国际电视台智库用联合国六种官方语言，包括汉语、英语、西班牙语、法语、阿拉伯语与俄语等，在油管、推特、脸书、接触网和微博、微信等社交媒体上发布了…
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

17

2

1

1

【记一次飞行体验】先是在737的模拟机上做3小时的模拟训练，了解流程和基本操作，然后才是在真正的飞机上（当天训练机型为Cessna 172S，美国塞斯纳天鹰）进行1小时的体验。
大陆资讯
( mp.weixin.qq.com)

3年前 • 微信公众号 • -- 点击 0 评论

18

2

1

1

ChatGPT中文回答非常白痴，原因在于训练gpt 回答问题的语料都是简中网上垃圾。即使百度大模型技术如何超前，简中网语料训练出来的仍是白痴，而且是宣传干事式的白痴。这其实暴露了汉语经过多年钳制后面临的巨大危机，和英语世界相比，简…
时政
( twitter.com)

1年前 • 蔡慎坤 • -- 点击 0 评论

19

2

1

1

芝加哥大学布斯商学院研究论文：《使用大语言模型进行财务报表分析》
GPT-4 可以帮助选股，击败人类和其他为金融训练的机器学习模型。
论文摘要
IT技术
( twitter.com)

22天前 • 宝玉 • -- 点击 0 评论

20

2

1

1

#工程师学习这篇 RAG论文很值得一读，我甚至打印成纸质版方便阅读，知识密集型自然语言处理任务的检索增强生成，AI 搜索会使用这个能力对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库让结果更准确，推荐用沉浸式翻译来阅读。
🤖
IT技术
( ar5iv.labs.arxiv.org)

4个月前 • Tw93 • -- 点击 0 评论

21

2

1

1

【乔布斯全新采访曝光，然而…】这个AI播客背后的公司名为Play.ht。他们主营业务为 AI 文本转换语音生成器，今年9月，发布了第一个语音模型Peregrine，据称，其模型原理与大型语言模型(如 DALE 和 GPT-2 )相近，采用自监督方式训练AI能模仿特定某人的语气和情绪。
大陆资讯
( www.qbitai.com)

1年前 • 猪八戒 • -- 点击 0 评论

22

2

1

1

这些人速度真快，666
1月1号米老鼠版权不是过期了嘛，任何人都可以使用
然后现在米老鼠的SD模型已经出来了
Mickey-1928：一个基于Stable-Diffusion-xl的微调版本，专门训练用于生成米老鼠、米妮和皮特的图像。…
IT技术
( twitter.com)

5个月前 • 小互 • -- 点击 0 评论

23

2

1

1

微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。…
IT技术
( twitter.com)

6个月前 • 宝玉 • -- 点击 0 评论

24

1

0

0

【Meta 开发了实时翻译闽南语的 AI】该模型目前仍在开发中，并且只适用于那类具有中间语言可以桥接两个不同语言的语言，如果两个语言之类没有密切相似的可桥接语言的话，将无法使用这个新模型，但该模型仍然为通用翻译开辟了更多的新语言。
大陆资讯
( www.oschina.net)

1年前 • 你妹的溢达 • -- 点击 0 评论

25

2

1

1

Sequoia Capital 在 3 月份的一个演示中估计，初创公司花费了 500 亿美元购买 NVIDIA 的芯片来训练大语言模型，然而，这些初创公司总共只赚了 30 亿美元的收入。这个巨大的差距告诉我们，大多数公司都在寻找可行的商业模式上挣扎。
有些公司现在正在缩减规模或转型，比如
IT技术
( twitter.com)

19天前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:04:26

1
2
3
4
5
6
7
8
9
...
400
下一页