最近玩 Ollama 项目,搭配 Ollama-webui 在本地跑几个小模型玩玩,纯 CPU 输出(黑苹果A卡的痛), 突然想到为啥不利用我 24X7 运行的 NAS,配置也不低(i5 10500T 48G内存),通过搬瓦工日本 VPS 搭建 Ollama-webui,再用 frp 打洞连接到 NAS 的 Ollama API,岂不美滋滋(以上已实现)。下一步,NAS 主板还有 PCIe 4.0 显卡位。300元收张 TESLA P4 显卡跑跑小模型,折腾乐趣拉满。🥳
点击图片查看原图
点击图片查看原图