清华 ChatGLM 的 llm 微调，拍案叫绝 !! 微调前，文案如水微调后，文案似水关键是，训练数据集的组织，非常简约这妥妥的“洗稿”神器

sign_in_with_google

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

24639 位用户此时在线

24小时点击排行 Top 10：

2024-6-16 今日热点汇总：美国密歇根州一水上乐园发生大规模枪击；凯尔王妃确诊癌症后首次露面；美警搜身男子遭遇枪击，警察反击清空弹夹；因旅行团黑在日本，多家旅行社被撤销签证资格；中国从俄罗斯购买了 2000 吨铜不翼而飞；大学生返乡建设农村遭遇政府暴力打砸；农村老人向乌克兰捐款 1000 元，遭到警察审讯；南方医科大学教师因救人上课迟到，被校方处罚并且扣除奖金；比 996 还狠，宁德时代强制员工 896 加班，外籍员工除外

深圳特區出現流浪少女

世界第一安全的國家

有网友用延时摄影记录下了五年前、即2019年，香港的民主游行过程。

黃河不會倒流，但可以更狠，直接亙古未見地斷流！

“务农12年，我深刻理解了农民二字的含义” 6月16日，一则7分钟的视频，道尽了农民的辛酸与不易。辽宁大连一女子发视频称，99年父母变卖房产承包了一座荒山，从此一家人搬进山里，靠养羊维持生计，2012年大学毕业后，她和丈夫一起在山上种植樱桃，原本以为从此可以过上与世无争的生活。

青島教練虐待兒童

男生电动车带人被罚20元,后座女子痛哭:够买3个烧饼够狠的啊，自己都舍不得吃的三个烧饼就这样被别人给抢走了。

第一次跟相亲对象吃饭,进门没想到看到这一幕,男子转身就走了,可有这样的智慧

養兒防老的真實結果，母親因為每日開車十幾個鐘被累暈，兒子似乎若無其事⋯⋯

极权国家通常有两个暴君：一个是独裁者，另一个就是公众。许多人完全没有意识到后者。不止极权国家，一般专制国家多少也有这种特点：公众跟独裁者一样刚愎自用，一样喜欢投其所好，一样不容忤逆，一样崇尚阴谋论。更糟糕的是，公众还容易出现过度简单化理解，甚至可能比独裁者还要暴戾和反复无常。

NEVER FORGET WHAT THEY DID

习主席说幸福生活是干出来的，他都这样干了，幸福了吗？

天津某书店

國產車開始利木柴做保險槓

敗家子習大頭的方艙醫院，現在開始變賣家產。

68岁的吕良伟看着像36、7岁，他每天扎马步，这是臀腿最好的抗阻训练，他拍打穴位，每个关节窝拍打九下，一天拍九遍，他还拉筋，筋长一寸命多十年，他练呼吸，让气血循环顺畅，面色红润，身体无恙，这些普通人都可以做，而且不受天气影响，他还敲天鼓，防耳聋耳鸣。【文摘】

世界最干净的东西，莫过于孩子的善良。

6月16日，山东烟台幸福十二村南街。女子发视频称，他们家合法有证的房屋被政府强拆，且公安不予立案。当天强拆人员强行把家人拖出来后把房屋拆成废墟，期间双方发生了肢体冲突，女子大喊道“你们都是黑社会！”

瑞士峰会结束俄罗斯中共国死期将至 👍😂

https://t.co/vhkPBWY4ET

如所透露信息属实，要么是习近平毫无基本判断能力，要么就是他故意制造虚假信息、混淆是非、颠倒黑白、嫁祸于人，隐藏祸心。无论何种原因，都是祸非福。美国精英苦心孤诣求中共维持台海现状，从逻辑、从利益、从行动、从事实上看都是再清楚不过的了，只有傻子才会信美想让习攻台。

张国师尴尬死了！老粉红张维为遭遇机智学生的灵魂提问: 瑞士永居咋办理?我也想移民瑞士….

有怨报怨有仇报仇，但记住一点，千万不要伤害无辜，耐心点还是能找到正主的

城管上门罚大爷14万,原因却是修剪自家树,城管:不交钱锁银行卡不询问还好询问了就寻出麻烦来了

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

清华 ChatGLM 的 llm 微调，拍案叫绝 !!

微调前，文案如水
微调后，文案似水

关键是，训练数据集的组织，非常简约
这妥妥的“洗稿”神器
IT技术
( www.heywhale.com )

9个月前由黄赟提交

点击图片查看原图

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

清华 ChatGLM, 体验极致丝滑 !!

下载并安装两个 repo( git & huggingface)

分分钟体验自己部署的大模型
晚上继续玩它的微调，哈哈哈，有意思 !!
IT技术
( twitter.com)

9个月前 • 黄赟 • -- 点击 0 评论

2

2

1

1

太牛逼了 !! 这份微调过的中文法律大语言模型，在普法同时，是份绝佳的 ChatGLM 微调指南
你可以看到完整的数据集准备，一步步喂给 ChatGLM 作出更专业的模型来。
是的，AI 写文，专业的微调 (fine tuning),
IT技术
( github.com)

1个月前 • 黄赟 • -- 点击 0 评论

3

2

1

1

推荐Slides：《ChatGLM: An Alternative to ChatGPT》清华唐杰老师写的，很多ChatGLM的干货
建议有兴趣的同学保存一份
完整链接：
IT技术
( keg.cs.tsinghua.edu.cn)

6个月前 • 宝玉 • -- 点击 0 评论

4

2

1

1

ChatGLM-130B也可以调用API运行了，省去了买显卡的麻烦。
ChatGLM-130B：0.15元 / 1000tokens
ChatGLM-6B：0.03元 / 1000tokens…
推特中文圈
( twitter.com)

11个月前 • goldengrape https://quail.ink/goldengrape • -- 点击 0 评论

5

2

1

1

目前这里面效果最好的是名起的最朴实的清华的 ChatGLM.😂
图片
( twitter.com)

1年前 • yihong0618 • -- 点击 0 评论

6

2

1

1

大语言模型微调之道2——为什么要微调

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

这视频中，我们探讨了为什么要微调大语言模型（LLM）。…
IT技术
( twitter.com)

9个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:14:35

7

2

1

1

哈，我又来报告了

目前 A100 来微调 ChatGLM 2 6B
速度比之前的 T4 16G 快了 6+ 倍

在 Colab 微调 12个小时的任务
Colab Pro 都险些断连
现在好了，等 2 个小时还是有耐心的
IT技术
( twitter.com)

9个月前 • 黄赟 • -- 点击 0 评论

8

2

1

1

ChatGLM 中文微调，跟着指南，一步步跑起来了
就是 Colab 申请不到 A100, 就现在的龟速
我先去睡一觉，明早起来都不一定能好啊
IT技术
( twitter.com)

9个月前 • 黄赟 • -- 点击 0 评论

9

2

1

1

这是给学生的建议，其实也适用于大多数想学 AI 的人，归根结底，就是要动手实践，只有亲手试过了才能学得会，就像骑车游泳，看再多视频你也学不会的！
清单如下：
1. 试用不同的大语言模型（LLM）
2. 创建一个 AI 智能体
3. 了解目前 LLM 和 AI 的局限性
4. 创建一个简单的RAG系统
5. 微调一个LLM
IT技术
( twitter.com)

23天前 • 宝玉 • -- 点击 0 评论

10

3

2

2

卧槽 !! 完了完了完了。。。这 8.4K stars 的 repo,特么害我今晚睡不着了呀：
这份开源的 llm 微调库，一网打尽了所有微调过的中文大预言模型。法律，金融，科技，居然还有农业
IT技术
( github.com)

1个月前 • 黄赟 • -- 点击 0 评论

11

2

1

1

给清华开源的中英双语对话模型 ChatGLM-6B 的第二代版本ChatGLM2-6B 做了一个 Colab，目前跑在默认情况下，模型以 FP16 精度加载，运行需要大概 13GB 显存。…
IT技术
( twitter.com)

11个月前 • lewang🍥 • -- 点击 0 评论

12

2

1

1

【我们问了ChatGLM几个关键问题，它给的回答似乎很不错】@GZhan5：清华KEG的中文的大型语言模型，单卡版本开源，自己跑了下6B版本效果还是蛮好的。
大陆资讯
( www.jiqizhixin.com)

1年前 • 观摩团 • -- 点击 0 评论

13

2

1

1

太强了👍，一键玩转清华开源的 ChatGLM-6B，我刚试了一下，在 colab 上一路安装好只花了 5 分钟，打开 OpenCat 客户端，填好生成的 URL 和默认的 Api Key: token1, 就可以直接玩了…
推特中文圈
( twitter.com)

1年前 • lewang🍥 • -- 点击 0 评论

14

2

1

1

#工程师工具早，对于 AI 语言模型感兴趣的可以玩玩这个清华开源的「ChatGLM-6B」，基于 General Language Model 架构，具有 62 亿参数，使用了和 ChatGPT 相似的技术，针对中文问答和对话进…
推特中文圈
( twitter.com)

1年前 • Tw93 • -- 点击 0 评论

15

2

1

1

一份反炒作 LLM 阅读清单：从背景、基础论文、训练 LLM、再到部署评估等（评论区也很精彩）。

IT技术
( gist.github.com)

9个月前 • lencx • -- 点击 0 评论

16

2

1

1

大语言模型微调之道1——介绍

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

虽然你可能已经知道如何提示一个大语言模型，但这门课程会深入讲解另一个重要工具：微调。…
IT技术
( twitter.com)

9个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:59

17

2

1

1

NVIDIA 发布AI Playground ，可以直接从浏览器尝试 Code Llama（Meta 的最新 #LLM ）。

Code Llama 在 LLama2 上进行了微调，可以生成 Python、C++、Java 等流行语言的代码。

地址：

From：
IT技术
( nvda.ws)

9个月前 • Will • -- 点击 • 下载视频 0 评论

00:00:08

18

2

1

1

20大前敢言清华法学者劳东燕微博遭清空
图片
( www.rfi.fr)

1年前 • twitter机器人 • -- 点击 0 评论

19

2

1

1

QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％
- 4bit训练，但是性能与16bit相当
这个数据有点离谱。。
IT技术
( twitter.com)

1年前 • orange.ai • -- 点击 0 评论

20

2

1

1

推荐一套The Full Stack的免费 LLM 在线教程：LLM Bootcamp - Spring 2023
包含了提示工程、LLM运维、LLM App开发、LLM基础等内容。
第一次访问需要输入邮箱。
IT技术
( fullstackdeeplearning.com)

5个月前 • 宝玉 • -- 点击 0 评论

21

2

1

1

稍微调了一下色，感觉之前颜色灰灰的，看不太清
图片
( twitter.com)

1年前 • 八方理 • -- 点击 0 评论

22

2

1

1

这篇关于提示工程、RAGs 与微调对比的推文不错，它这个坐标图分成了两个坐标轴：
1. 所需要外部知识多少
2. 所需要的对模型定制的多少
原推文翻译如下：
提示工程、RAGs 与微调的对比：
这是每位搭建基于大语言模型（LLM）应用的 AI 工程师都面临的关键选择。…
IT技术
( twitter.com)

6个月前 • 宝玉 • -- 点击 0 评论

23

2

1

1

来自北京大学和微软研究院的一篇论文，MusicAgent是一款基于大语言模型（LLM）为音乐创作打造的 AI 智能体，可以理解成音乐界的 AI Copilot 。

它借助了 LLM 的任务规划能力、工具选择能力和…
IT技术
( twitter.com)

7个月前 • 宝玉 • -- 点击 0 评论

24

2

1

1

清华大学劳东燕教授向习主席投降，主动清空微博退出历史舞台。
时政
( twitter.com)

1年前 • twitter机器人 • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页