推荐阅读:《Sora物理悖谬的几何解释》by 顾险峰 老顾谈几何
部分节选:
局部合理与整体荒谬的矛盾
目前Sora相邻令牌间的拼接做得很合理,但是整体拼接的视频却可能出现各种悖谬。这意味着局部拼接与整体拓展之间的鸿沟。
我们观察“幽灵椅子”视频,如果我们将视野限制在屏幕中间的一个局部区域,则视频非常合理。仔细检测不同令牌区间直接的连接,也非常连续光滑。但是整个椅子如鬼魅般悬空,这与日常经验相悖。这种“局部合理,整体荒谬”的生成视频,意味着Transformer学会了Token间局部的连接概率,但是缺乏时空上下文的大范围整体观念。在这个视频中,整体观念来自于物理中的重力场,虽然局部看不出来,但是整体上无时不在。
https://t.co/bboelyq0zS