推荐阅读:《Chess-GPT's Internal World Model》,作者从头训练了一个只有 50M 参数的小语言模型“国际象棋 GPT”,专门下国际象棋。一款拥有 5000 万参数的 GPT 模型,在 4 块 RTX 3090 显卡上训练了一天后,通过分析 500 万局国际象棋对局,达到了约 1300 ELO 的棋力。
最初作者是打算基于开源模型如 LLama 7B 或 OpenLlama 3B 进行微调,但是他只有 RTX 3090的显卡,所以基于 nanogpt 重头训练了一个5000万参数的模型。
训练的数据是1600 万局游戏记录,所有的数据和模型都是开源的。
相关博文:https://t.co/w4FB777Xyo
译文:https://t.co/M9I1krD9rD
点击图片查看原图