这是苹果对于 Apple Intelligence 背后技术的介绍视频,结合引用的 @ihower 的推文信息,他们的模型分成三层:
1. 本地模型
这部分包含语言模型和扩散模型,另外还有用来做 RAG 的 Semantic Index (语义索引)和 App Intents Toolbox(应用意图工具箱)。
其中语言模型是 3B 的小模型,并且针对一系列任务微调过,比如说摘要、润色、回复邮件等,在这些微调模型权重之上有个适配器,可以根据任务来选择最合适的权重,所以虽然只有 3B,但是能力不弱。
2. 私有云计算(Private Cloud Compute)
对于本地模型满足不了要求的,会传到云端运算。并且苹果在安全性上做了很多工作,对于每一次请求,用户的设备会和私有云计算集群建立一个端到端加密的连接。只有被选择的集群才能解密这些请求数据,数据在返回响应后不会被保留,Apple 也无法访问。
以苹果的口碑,对于这个安全架构我还是相信的。
3. 第三方 LLM
这个视频中没有提及,综合一些其他信息,像一些 Siri 的知识问答、聊天,是接入的外部模型,比如目前接入的有 OpenAI 的 GPT-4o,但未来肯定会接入更多家,并且不同国家地区的 LLM 服务商可能有所不能,比如国内肯定不会用 ChatGPT,至于哪一家还没有宣布。
我估计未来国行 iPhone 手机和其他区手机的主要差别在于第三方 LLM 的接入,本地模型和私有云计算部分应该都是一样的,最多是数据隔离。(当然纯个人猜测)