site stats
有网友用 2 台 MacBook Pro 128GB 分布式运行了刚发布的 Llama 3.1 405B。大家关心的每秒多少 Token 没有公布,但看起来比较慢。使用的 Exo Labs 进行分布式机器学习推理使用 Apple 开源的机器学习库 MLX 作为推理引擎使用 TinyChat UI 界面
发布时间:
1
数据加载中
Markdown支持
评论加载中...
您可能感兴趣的: 更多