在大家都在翘首以盼 OpenAI 发布 GPT-5 的时候，OpenAI 却只是先后发布了 GPT-4o和 GPT-4o mini，甚至推理能力智能程度还不如当初的 GPT-4，但是这两个新模型不仅支持了多模态，而且参数都要小于 GPT-4，生成速度很快，推理成本也低了很多倍。
这背后，应该是因为新的 GPT-4o 模型用了更少但是质量更好的训练数据。GPT-4 之所以效果好成本高，是因为它用了几乎整个互联网公开的文本数据训练，所以它记住了相当多的内容，而这其中很多内容其实是重复的甚至是质量不高的数据。但是有了 GPT-4 这样强大的模型后，就可以从中提炼出高质量的合成的训练数据，然后用这些高质量的合成数据，去训练更小的模型，就像现在大家看到的 GPT-4o 和 GPT-4o mini。
可以预见未来的模型发展也会类似于 GPT-4 -> GPT-4o -> GPT-4o mini 这样的模式，先有一个大的模型，然后再用大的模型生成高质量的合成数据，用合成数据去训练小参数的模型，这些模型虽然能力不如大的模型，但是性价比极高。
