可验证意味着基本上就可以转化为封闭式问题
封闭式可验证问题的任何benchmark早晚都会被攻克,这个没啥疑问
但太多开放性问题无法用自动化/AI转换成封闭化/可验证问题,这不是暂时的,会是很长很长时间无法解决的瓶颈
而“判断”(我更倾向于evaluation这个词)这件事情本身,就是一个开放性问题
把开放性问题转化为可验证/封闭式问题,就是人的长期价值所在
开放性问题和封闭性问题的边界也不是静态的,这是一个抽象层长期上升的过程(也就是人和AI co-evolve的过程)
我赞同第一句,AI时代的专家不可替代性在于“转换成可验证性问题”和“判断evaluation”,但这两项都是暗含巨量开放性的问题,所以我认为这不是暂时的
正因为大量的暗含开放性的问题,所以人类专家的可替代性是一种幻觉
只有在封闭化/可低成本验证的领域,专家才有可替代性