2
1
0
Ferret-UI：苹果开发出能“看懂”手机屏幕上并能执行任务的多模态模型
它将移动UI的视觉元素和语言元素结合起来，不仅能“看懂”屏幕上的内容，还能理解用户的指令和问题，进而执行任务或提供信息。
Ferret-UI的能力不止于看和识别，它还能进行推理。…
时政
(
twitter.com
)
由
小互
提交
Ferret-UI：苹果开发出能“看懂”手机屏幕上并能执行任务的多模态模型
它将移动UI的视觉元素和语言元素结合起来，不仅能“看懂”屏幕上的内容，还能理解用户的指令和问题，进而执行任务或提供信息。
Ferret-UI的能力不止于看和识别，它还能进行推理。
例如，它可以通过分析屏幕上的元素来推测一个应用的功能，或者理解和参与与屏幕内容相关的对话。
Ferret-UI在所有基础UI任务上均超过了GPT-4V和大多数其他开源UI MLLM
论文：https://t.co/SVFe3OZNKb
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
2
1
1
3
2
1
1
5
2
1
1
6
2
1
1
7
2
1
1
8
2
1
1
