刚看到 Huggingface 推出的模型推理服务，部署一个模型的成本大大降低：1、支持 Huggingface 上已有模型的一键部署；2、支持私有模型通过 docker 镜像模式部署；3、支持autoscaling，也能在没有负载的时候scale 到 0 实例。另外价格也比 replicate 要低一些。

发布时间: 2024-04-29 01:20:16

1分

数据加载中

关注推特

收听电报

2

1

0

刚看到 Huggingface 推出的模型推理服务，部署一个模型的成本大大降低：
1、支持 Huggingface 上已有模型的一键部署；
2、支持私有模型通过 docker 镜像模式部署；
3、支持autoscaling，也能在没有负载的时候scale 到 0 实例。
另外价格也比 replicate 要低一些。
时政
( huggingface.co )

11个月前由 Leo Xiang 提交

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

使用HuggingFace上模型的简单教程。

1. 直接模型首页上运行，有些模型会直接提供在线试用

2. 自己部署到云上，右上角有Deploy，点击选择合适的选项。

如果是部署在HuggingFace上需要自己注册账号并生成…
推特中文圈
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

5月11日，HuggingFace 刚刚发布了Transformers的最大胆的功能：Transformers Agents.

这消除了进入AI的障碍，通过与Agent自然语言对话来控制 100,000 多个HF现有模型：文本、…
币圈
( twitter.com)

1年前 • Will 3.6-6.16 硅谷 • -- 点击 0 评论

3

2

1

1

HuggingFace这个Llama 2的在线版本不错，推荐试试
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

4

2

1

1

推荐HuggingFace的这篇《深入解析“混合专家模型（Mixtral of Experts）” | Mixture of Experts Explained》
完整的讲述了混合专家模型的各个方面。主要内容如下：
1. 相较于密集型模型，预训练速度更快
2. 拥有比同等参数的模型更快的推理速度
3. 对显存要求高，因为需要将所有专家模型都加载到内存中…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

Llama3 405B 在 4chan 提前泄露！！
模型大小为 820G，Huggingface 链接已经 404 了，用磁力下吧。
IT技术
( twitter.com)

8个月前 • 歸藏(guizang.ai) • -- 点击 0 评论

6

2

1

1

这是刚推出的中文通用大模型综合性基准SuperCLUE，
时政
( github.com)

1年前 • Michael Anti • -- 点击 0 评论

7

2

1

1

大眼刚写的，看到这里眼睛模糊了
时政
( twitter.com)

1年前 • 小国寡民 • -- 点击 0 评论

8

2

1

1

哇 🤯 runway 刚刚推出了更新版的 Gen-3 Alpha Turbo 视频到视频模式，太棒了！
速度超级快，还支持9:16的竖屏视频。一切皆有可能！🔥
IT技术
( twitter.com)

6个月前 • Will • -- 点击 • 下载视频 0 评论

00:01:30

9

2

1

1

如果想体验刚发布的 Llama 3.1 405B，这几个地方可以免费体验：官网：
Huggingface chat：
Groq（暂时不支持 405B，但是支持Llama3.1 8B和70B）：
IT技术
( twitter.com)

8个月前 • 宝玉 • -- 点击 0 评论

0.07686 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特