LLM 通常使用 16 位浮点参数 (即 FP16 或 BF16) 进行训练。因此，存储一个权重值或激活值需要 2 个字节的内存。如果参数能从16位降低到8位或者4位，就能对模型大小进行压缩，而不会降低模型精度。前些天的一篇论…

发布时间: 2023-05-25 20:04:11

1分

数据加载中

关注推特

收听电报

LLM 通常使用 16 位浮点参数 (即 FP16 或 BF16) 进行训练。因此，存储一个权重值或激活值需要 2 个字节的内存。如果参数能从16位降低到8位或者4位，就能对模型大小进行压缩，而不会降低模型精度。

前些天的一篇论…
IT技术
( twitter.com )

1年前由宝玉提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

刚刚入选福布斯AI初创50强的Unstructured 这家公司非常值得关注。它的slogan是ETL for LLMs，即将各种文档数据处理成适合LLM使用的JSON或Markdown等格式。
时政
( twitter.com)

1年前 • WY • -- 点击 0 评论

为什么科学上习惯用 “x” 来表示未知数？
使用字母 “x” 作为未知数的符号在数学中的起源与拉丁语有关。在中世纪，数学家们开始使用字母来表示数值和未知数。字母 "x" 通常是拉丁语中 “incognita”（未知）的首字母。
这种表示法最早可追溯到 16…
有趣
( twitter.com)

1年前 • 环球猎奇🏅 • -- 点击 0 评论

目前国内市场就业形势非常严峻。
普通人一旦失去岗位，后面找到合适岗位就非常难，即使是技术岗位。
推特中文圈
( twitter.com)

2年前 • 小隐｜0xwangfeng.eth • -- 点击 0 评论

Twitter-Insight-LLM：抓取Twitter数据并可通过自然语言搜索图像
无需API接口，使用Selenium自动化工具从Twitter账户中抓取点赞的推文，并将数据保存为JSON和Excel文件。
同时针对保存的内容，你还可以使用文字描述来搜索图库中未标注的图像，任意模糊搜索。…
时政
( twitter.com)

1年前 • 小互 • -- 点击 • 下载视频 0 评论

00:00:46

【华为“飞行机器人”专利公布】气球机器人使用气球的浮力而非螺旋桨的升力来飞行，通过独特设计的柔性气囊突破了安全性这个室内飞行的最大挑战，即使与人员或物品发生碰撞也通常不会产生伤害。
大陆资讯
( 36kr.com)

1年前 • 羡慕忌妒恨 • -- 点击 0 评论

看了两篇最近比较火的论文，里面说的内容太过于牛逼，让我感觉有点吹牛 😂：

1. QLoRA：最大亮点是降低微调模型所需的硬件资源。使用这个技术，只需要用 48G 的 GPU 就能微调 650 亿参数的模型，同时还保留 16 位微…
推特中文圈
( twitter.com)

1年前 • JimmyWong • -- 点击 0 评论

这是由于浮点计数的时候（看看32位还是64位），十进制的0.1用二进制表示0.000110011001100...，十进制的0.2用二进制表示0.001100110011001...。他们二进制之…
推特中文圈
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

AI创业大潮下，如何快速高效的使用LLM构建应用程序？

在6月21日发布万字长文《对LLM应用程序堆栈的当前观点》，由其合伙人。

里面理顺了4种不同场景下的，整…
IT技术
( twitter.com)

1年前 • Will 3.6-6.16 硅谷 • -- 点击 0 评论

使用大型语言模型（LLM）最让人头疼的就是学习Prompt，台湾有趣地将这样的职业译为“AI咒语咏唱师”。

然而，每个人如果想要更好地使用AI，都应该学习一下Prompt的使用技巧。以下，我为大家推荐几个常见的Prompt库和教程，供大家参考。
IT技术
( twitter.com)

1年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

IT技术

刚刚入选福布斯AI初创50强的Unstructured 这家公司非常值得关注。它的slogan是ETL for LLMs，即将各种文档数据处理成适合LLM使用的JSON或Markdown等格式。 时政 ( twitter.com)

时政

有趣

目前国内市场就业形势非常严峻。 普通人一旦失去岗位，后面找到合适岗位就非常难，即使是技术岗位。 推特中文圈 ( twitter.com)

推特中文圈

时政

【华为“飞行机器人”专利公布】气球机器人使用气球的浮力而非螺旋桨的升力来飞行，通过独特设计的柔性气囊突破了安全性这个室内飞行的最大挑战，即使与人员或物品发生碰撞也通常不会产生伤害。 大陆资讯 ( 36kr.com)

大陆资讯

推特中文圈

这是由于浮点计数的时候（看看32位还是64位），十进制的0.1用二进制表示0.000110011001100...，十进制的0.2用二进制表示0.001100110011001...。他们二进制之… 推特中文圈 ( twitter.com)

推特中文圈

AI创业大潮下，如何快速高效的使用LLM构建应用程序？ 在6月21日发布万字长文《对LLM应用程序堆栈的当前观点》，由其合伙人。 里面理顺了4种不同场景下的，整… IT技术 ( twitter.com)

IT技术

IT技术

创建一个新帐户

登录

刚刚入选福布斯AI初创50强的Unstructured 这家公司非常值得关注。它的slogan是ETL for LLMs，即将各种文档数据处理成适合LLM使用的JSON或Markdown等格式。
时政
( twitter.com)

目前国内市场就业形势非常严峻。
普通人一旦失去岗位，后面找到合适岗位就非常难，即使是技术岗位。
推特中文圈
( twitter.com)

【华为“飞行机器人”专利公布】气球机器人使用气球的浮力而非螺旋桨的升力来飞行，通过独特设计的柔性气囊突破了安全性这个室内飞行的最大挑战，即使与人员或物品发生碰撞也通常不会产生伤害。
大陆资讯
( 36kr.com)

这是由于浮点计数的时候（看看32位还是64位），十进制的0.1用二进制表示0.000110011001100...，十进制的0.2用二进制表示0.001100110011001...。他们二进制之…
推特中文圈
( twitter.com)

AI创业大潮下，如何快速高效的使用LLM构建应用程序？

在6月21日发布万字长文《对LLM应用程序堆栈的当前观点》，由其合伙人。

里面理顺了4种不同场景下的，整…
IT技术
( twitter.com)