很值得听一下的技术访谈 - Deep Mind的Nikolay Savinov聊长上下文/long context,我印象深刻的几个点如下:
- 10M context windows不久就会有/reasonably soon,而且将常态化/commodity(提到在gemini 1.5 pro的时候已经能实现这个长度,只是推理成本太贵没有放出来)
他认为一旦10M context成为常态,将成为某些应用的决定性因素,例如AI编程,能几乎完全解锁将大型项目全代码库包含在上下文中的能力;
2、专门聊了long context vs RAG,明确说了:
- 除了过往就知道的延迟相关的考虑外,长期来说,RAG也并不会因为long context 而消失(例如总有更大的知识库);
- 而且RAG和long context是相辅相成的关系,例如long context可以帮助RAG提升召回率和处理更复杂的需求;
3、Long context + agents: 目前需要手动查找和导入上下文的繁琐过程是人们与 AI 系统互动的主要限制之一。未来如果能建立一个“长上下文智能体系统”,让其能够从任何地方去自动获取你的上下文,将非常有趣;