2
1
0
推荐阅读：《Chess-GPT's Internal World Model》，作者从头训练了一个只有 50M 参数的小语言模型“国际象棋 GPT”，专门下国际象棋。一款拥有 5000 万参数的 GPT 模型，在 4 块 RTX 3090 显卡上训练了一天后，通过分析 500 万局国际象棋对局，达到了约 1300 ELO 的棋力。
最初作者是打算基于开源模型如…
IT技术
(
twitter.com
)
由
宝玉
提交
推荐阅读：《Chess-GPT's Internal World Model》，作者从头训练了一个只有 50M 参数的小语言模型“国际象棋 GPT”，专门下国际象棋。一款拥有 5000 万参数的 GPT 模型，在 4 块 RTX 3090 显卡上训练了一天后，通过分析 500 万局国际象棋对局，达到了约 1300 ELO 的棋力。
最初作者是打算基于开源模型如 LLama 7B 或 OpenLlama 3B 进行微调，但是他只有 RTX 3090的显卡，所以基于 nanogpt 重头训练了一个5000万参数的模型。
训练的数据是1600 万局游戏记录，所有的数据和模型都是开源的。
相关博文：https://t.co/w4FB777Xyo
译文：https://t.co/M9I1krD9rD
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
8
2
1
1
