2
1
0
如何让小模型的推理效果在某些领域比 ChatGPT 这样的大模型还要更强？这篇论文提供了一个思路：
IT技术
(
arxiv.org
)
由
Barret李靖
提交
如何让小模型的推理效果在某些领域比 ChatGPT 这样的大模型还要更强？这篇论文提供了一个思路：https://t.co/WEJBhjkxhe，借助思维链（CoT）逐步解决复杂推理任务的能力，可以使用大模型作为推理教师，针对一批数据集，让大模型给出详尽的解答思路，然后把问题和解题过程交给学生模型进行 Fine-tuning。
这个解决思路也有一个专有名词，叫做“模型蒸馏”，其效果还是非常亮眼的，在保持同样的推理能力，甚至超越大模型的情况下，模型的大小降低到原来的 1/500~1/25。这可以帮助很多特定场景降低成本，例如使用自建的蒸馏小模型替代直接调用 ChatGPT，很多简单场景都适用，如果蒸馏出来的模型足够小，还可以直接在端侧（移动设备或嵌入式系统）部署，在用户本地完成推理，进一步降低服务成本。
这个 Github 项目演示了如何利用大模型进行蒸馏来构建小模型：https://t.co/IDHugmejc6
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
2
1
1
3
2
1
1
4
2
1
1
5
2
1
1
7
2
1
1
8
2
1
1
