在树莓派集群运行650亿参数大模型？llama.cpp最新更新加入了基于MPI的分布式推理支持，每个节点可以只进行一部分推理操作，这样用一堆非常老的机器理论上也可以跑超大模型。感觉LLM分布式共享推理服务有的搞了…

发布时间: 2023-07-11 14:05:21

1分

数据加载中

关注推特

收听电报

2

1

0

在树莓派集群运行650亿参数大模型？

llama.cpp最新更新加入了基于MPI的分布式推理支持，每个节点可以只进行一部分推理操作，这样用一堆非常老的机器理论上也可以跑超大模型。

感觉LLM分布式共享推理服务有的搞了…
时政
( twitter.com )

1年前由 nash_su 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型

虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。

LLM 的 Stable Diffusi…
推特中文圈
( twitter.com)

2年前 • Jiayuan • -- 点击 0 评论

2

2

1

1

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

3

2

1

1

阿里云研发的 #通义千问大模型系列的70亿参数规模的模型Qwen-7B和Qwen-7B-Chat，在魔塔社区上开源，支持用户在消费级显卡上部署和运行模型。

时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

4

2

1

1

早晨起来大模型的新闻又炸了
斯坦福微调了 7B LLaMA 模型，只用了 52K 的数据，达到了和达芬奇003类似的效果，并且可以跑在消费级设备上，比如树莓派。
推特中文圈
( github.com)

2年前 • orange.ai • -- 点击 0 评论

5

2

1

1

微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

1

0

0

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

2年前 • 墙头看世界 • -- 点击 0 评论

7

3

2

2

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

2年前 • nash_su • -- 点击 0 评论

8

2

1

1

根据英伟达的幻灯片显示，GPT-4 是 1.8T 参数的混合专家模型。现在用 Blackwell 系统实际上可以在大约十天内训练一个像 GPT-4 这样拥有 1.8 万亿参数的大模型，而在两年前 Hopper 世代开始时，即使是几百亿参数的模型也很难在几个月内完成训练。
IT技术
( baoyu.io)

11个月前 • 宝玉 • -- 点击 0 评论

9

2

1

1

5620亿参数，最大多模态模型控制机器人，谷歌把具身智能玩出新高度
大陆资讯
( www.jiqizhixin.com)

2年前 • 猪八戒 • -- 点击 0 评论

0.10243 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特