好家伙，能手机部署LLM大模型来了。MiniCPM: 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。

发布时间: 2024-02-04 13:40:46

1分

数据加载中

关注推特

收听电报

好家伙，能手机部署LLM大模型来了。MiniCPM: 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
IT技术
( github.com )

1年前由 Geek 提交

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

直接在手机本地运行大语言模型！没想到这么快就实现了。
“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…
推特中文圈
( twitter.com)

1年前 • sundyme • -- 点击 0 评论

正如我两个月前预料的，终于等到了高通CEO复读这句话：LLM要进汽车芯片了

这次高通CEO升级了对edge端承载大模型的能力估算，明年手机能跑20B小模型，汽车能跑60B 大模型

手机跑20B需要占据12GB内存，汽车芯片跑6…
IT技术
( twitter.com)

1年前 • fin • -- 点击 0 评论

大家好，我们团队的 OpenLLM 项目开源了！

这个项目旨在为各种大语言模型（LLM）在生产环境中的部署和可观测性提供一个标准的解决方案，用最简单直接的方式把 LLM 部署到云端或本地，并且可以放心地用于生产环境中，此外还提供…
IT技术
( twitter.com)

1年前 • yetone • -- 点击 0 评论

这一轮edge端LLM前景是泡沫吗？
时隔一年，LLM小模型发展可谓每个月都有惊喜，各种尺寸越来越丰富
手机能力进步了不少，7B模型都能超过20 token/s，比去年Google发布3B小模型时候进步了太多
edge和cloud LLM应用的界限也越来越模糊，如何定义这个界限？还得看具体应用任务
这里分了几个基本场景
IT技术
( twitter.com)

1年前 • fin • -- 点击 0 评论

现在大家可能急需了解llm大模型的最新排行和价格，我做了一个表。
你最常用的模型是哪个？
时政
( twitter.com)

5个月前 • Tony出海号 • -- 点击 0 评论

《面向开发者的大模型手册 - LLM Cookbook》吴恩达大模型系列课程中文版
IT技术
( twitter.com)

1年前 • Geek • -- 点击 0 评论

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

1年前 • 拉拉么 • -- 点击 0 评论

闪电预览

刚看到 Huggingface 推出的模型推理服务，部署一个模型的成本大大降低：
1、支持 Huggingface 上已有模型的一键部署；
2、支持私有模型通过 docker 镜像模式部署；
3、支持autoscaling，也能在没有负载的时候scale 到 0 实例。
另外价格也比 replicate 要低一些。
时政
( huggingface.co)

11个月前 • Leo Xiang • -- 点击 0 评论

IT技术

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。 IT技术 ( github.com)

IT技术

推特中文圈

IT技术

IT技术

IT技术

现在大家可能急需了解llm大模型的最新排行和价格，我做了一个表。 你最常用的模型是哪个？ 时政 ( twitter.com)

时政

《面向开发者的大模型手册 - LLM Cookbook》吴恩达大模型系列课程中文版 IT技术 ( twitter.com)

IT技术

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法” 大陆资讯 ( wallstreetcn.com)

大陆资讯

时政

创建一个新帐户

登录

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

现在大家可能急需了解llm大模型的最新排行和价格，我做了一个表。
你最常用的模型是哪个？
时政
( twitter.com)

《面向开发者的大模型手册 - LLM Cookbook》吴恩达大模型系列课程中文版
IT技术
( twitter.com)

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)