强烈赞同这个观点,模型/算法/数据,数据=知识➕经验。
所谓知识,是被语言化之后,可以通过学习去获得的;而经验,是在一个具体场景里的充分知识,世界上的绝大部分经验都未被语言化(文字化→数据化),且需要通过大量的训练来获得。
人类的知识总量是一定的,1.4亿本书的总量+每年几十万本书的增量,今天的大模型压缩的是人类的知识,从这个维度上来说,边界是完全看得见的。如果仅仅停留在知识的层面,大模型能力被拉平只是时间和资源的问题,今年以来已经越来越是一张明牌。
然而,人类在日常的生活和工作中,解决绝大部分问题,靠的恰恰是未被语言化的经验,这些经验包括遗传的以及后天习得的。那么,从这个角度看,我们不难理解,今天大模型能力即使已经很强,也无法很好在实际场景中去有效解决问题,TA 有知识但无法通过实践去获得 skills。
从生产和生活角度看,特定场景+包含人类 skills 的数据训练,对于在特定 domain 的有效性就变得异常关键,这一点Tesla的 FSD 已经初步做出了有效验证。