推理速度超级快的 Gorq API 现在所有人都可以申请，文档和 Playground 页面均已推出。这里申请：

发布时间: 2024-03-05 11:10:15

1分

数据加载中

2

1

0

推理速度超级快的 Gorq API 现在所有人都可以申请，文档和 Playground 页面均已推出。
这里申请：
IT技术
( console.groq.com )

3个月前由歸藏提交

点击图片查看原图

评论加载中...

您可能感兴趣的：更多

1

2

1

1

以嵌套网页形式展示搜索结果的产品globe，已经接入了Gorq，速度真的快的离谱。
一秒钟展示一个概念的所有内容，加载的速度赶不上生成的速度。
IT技术
( twitter.com)

1个月前 • 歸藏(guizang.ai) • -- 点击 • 下载视频 0 评论

00:00:43

2

2

1

1

在 M2 的 Macbook Air 上进行 LLaMA 7B 模型的本地推理 🤯

虽然目前生成的效果还比较差，但是推理速度极快。真正做到了消费级硬件推理，开源社区生态发展太快了。

视频未加速。…
推特中文圈
( twitter.com)

1年前 • Jiayuan • -- 点击 0 评论

3

2

1

1

#AI工具推荐刚刚发现了一款超级好用的去除背景图片的工具，速度快，质量高。比效果更好，而且完全免费 🥳

IT技术
( twitter.com)

1年前 • lvwzhen • -- 点击 0 评论

4

2

1

1

Poe API 推出，AI 的普及速度要更快了。
现在允许所有开发人员在 Poe 上构建机器人，包括 Anthropic 和 OpenAI 的客户，或其他正在训练自己的语言模型的 AI 公司，或者任何使用开源 LLM 的人。
IT技术
( twitter.com)

1年前 • orange.ai • -- 点击 0 评论

5

2

1

1

这种时候，推特的价值就显现出来了。什么事情，慢一步，结果是天壤之别。所有事情的速度实在太快了，超乎想象，获取信息只能靠推特。
推特中文圈
( twitter.com)

1年前 • wuzhe • -- 点击 0 评论

6

2

1

1

用FP16精度让34B的 Code LLama 跑在 M2 Ultra上，推理速度超过每秒20个token。

这通常需要4块高端GPU才能运行，现在用800GB/s带宽的M2 Ultra也可以。

答案是 Speculative Sampling 👍
IT技术
( twitter.com)

9个月前 • 宝玉 • -- 点击 0 评论

7

2

1

1

推荐下朋友做的原文书翻译服务 , 使用 ChatGPT API 制作原文书的双语对照版本，实现了队列并行处理，大幅提升翻译速度，平均一本书仅需 30 分钟。附带 zlib 镜像，线上一…
推特中文圈
( twitter.com)

1年前 • Reorx • -- 点击 0 评论

8

2

1

1

甩鞭子为什么会发出响声？
鞭子发出响声的原理涉及到声音的产生和音速的现象。
鞭子被快速挥动时，末端的速度可能达到或超过音速。当物体的速度超过周围介质（例如空气）中声音的传播速度时，就会产生一个震荡波（激波）。这种突然的震荡波就是爆裂声的来源。…
有趣
( twitter.com)

5个月前 • 环球猎奇🏅 • -- 点击 • 下载视频 0 评论

00:00:14

9

2

1

1

刚接到百度的电话，说百度文心一言API如果充值可以加快申请到的速度，我说充值多少钱，说3000、5000、10000都可以，我说我不申请了，谢谢。
时政
( twitter.com)

1年前 • Michael Anti • -- 点击 0 评论