直接在手机本地运行大语言模型！没想到这么快就实现了。“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…

发布时间: 2023-04-30 14:28:22

1分

数据加载中

2

1

0

直接在手机本地运行大语言模型！没想到这么快就实现了。
“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…
推特中文圈
( twitter.com )

1年前由 sundyme 提交

评论加载中...

您可能感兴趣的：更多

1

2

1

1

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

6个月前 • 拉拉么 • -- 点击 0 评论

2

2

1

1

有人尝试了借助开源大语言模型，无需联网在本机实现和游戏 NPC 自由对话，技术栈：
- Mistral7b，开源大语言模型
- StyleTTS2 文字转语音
- llama.cpp 用来运行大语言模型的库
生成一句新对话的时间大约为 2-3…
IT技术
( twitter.com)

5个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:16

3

2

1

1

MobiLlama：一个0.5B大小能在手机上运行的小型语言模型
该模型基于LLaMA-7B架构设计，旨在能够在边缘设备上高效运行，无需将数据发送到远程服务器或云端处理。如智能手机、平板电脑、智能手表等。
MobiLlama模型虽然体积小、对资源的需求低，但仍能提供高精度的语言理解和生成能力。…
IT技术
( twitter.com)

3个月前 • 小互 • -- 点击 0 评论

4

2

1

1

推荐阅读：把大语言模型封装成桌面应用
作者使用Electron+Transformer.js，把大语言模型打包成桌面应用，这样就可以本地运行大语言模型。
另外作者开发了一个框架叫ollama（ 2、Mistral等，但目前只支持Mac和Linux，还不支持Windows。…
IT技术
( github.com)

6个月前 • 宝玉 • -- 点击 0 评论

5

2

1

1

大语言模型微调之道2——为什么要微调

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

这视频中，我们探讨了为什么要微调大语言模型（LLM）。…
IT技术
( twitter.com)

9个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:14:35

6

1

0

0

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

1年前 • 墙头看世界 • -- 点击 0 评论

7

2

1

1

推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》
这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。
随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。
文章中把 LLMOps 分成了几个关键步骤：
第 1 步：选择基础模型…
IT技术
( twitter.com)

6个月前 • 宝玉 • -- 点击 0 评论

8

2

1

1

LLaMA-Factory：羊驼工厂，简化大语言模型的微调
通过提供一个易于操作的Web界面，LLaMA-Factory允许用户在浏览器中直接进行模型的训练、评估和推理，无需复杂的命令行操作。
LLaMA-Factory预集成了多种流行的大型语言模型，包括LLaMA、BLOOM、Mistral、Baichuan、Qwen和ChatGLM。…
IT技术
( twitter.com)

7个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:02:38

9

1

0

0

【Meta 开发了实时翻译闽南语的 AI】该模型目前仍在开发中，并且只适用于那类具有中间语言可以桥接两个不同语言的语言，如果两个语言之类没有密切相似的可桥接语言的话，将无法使用这个新模型，但该模型仍然为通用翻译开辟了更多的新语言。
大陆资讯
( www.oschina.net)

1年前 • 你妹的溢达 • -- 点击 0 评论