Apple Intelligence 這樣看來是由三個 LLM 所組成:
* Apple 地端 Siri: 判斷問題類型、基本文字任務、呼叫本機 function 等簡單任務,這是個 Apple 自製的 3B 小模型。另外本機還要負責做 semantic search 找出要參考的個人 context 資料。
* Apple 雲端 Private Cloud Compute 的 LLM: 當用戶指令比較複雜時改用這個,會根據傳上來的 context 資料做複雜任務規劃,這是個 Apple 自製特調此場景的大模型 (這 server 也是用 Apple Silicon 晶片,不是 nvidia 喔)
* 整合外部 OpenAI ChatGPT: 會用於泛用的知識問答聊天,當 Siri 判斷用戶的問題適合 gpt-4o 時,會跳提醒問用戶是否允許去問 OpenAI。這個外部模型我想不同地區將會是可切換的。
# WWDC 2024
点击图片查看原图
点击图片查看原图