31068 位用户此时在线
24小时点击排行 Top 10：
- 本站自动实时分享网络热点
- 24小时实时更新
- 所有言论不代表本站态度
- 欢迎对信息踊跃评论评分
- 评分越高，信息越新，排列越靠前
2
1
0
self-operating-computer， GPT-4V 来控制自己的电脑，你需要做的就是告诉它完成一个怎样的任务，例如，打开 Google Docs 写一篇文章，然后发布并分享给同事。
它的 Prompt 写的比较简单，定义了一个可以与机器交互的…
IT技术
(
github.com
)
由
Barret李靖
提交
self-operating-computer，https://t.co/0L3DqgNGhI，这个项目演示了如何让 GPT-4V 来控制自己的电脑，你需要做的就是告诉它完成一个怎样的任务，例如，打开 Google Docs 写一篇文章，然后发布并分享给同事。
它的 Prompt 写的比较简单，定义了一个可以与机器交互的 DSL，主要包含三种动作：Click/Type/Search，分别对应 mouse_click/keyboard_type/mac_search 几个封装好的系统函数。
每次程序执行动作时，都会携带任务目标、上一步执行结果以及当前屏幕截图作为上下文，然后将信息传递给 ChatGPT，并让它给出下一步操作指示。
这个项目中 Prompt 的定制化程度偏高，说明完成复杂的工作还比较有挑战，如果参考之前提到的 Mutil-Agent 方案，https://t.co/n1S8YdwlWn，做出来效果应该会更好一些。
点击图片查看原图
1
2
1
1
2
2
1
1
3
2
1
1
4
2
1
1
5
2
1
1
6
2
1
1
7
2
1
1
8
3
2
2
10
2
1
1
11
2
1
1
14
2
1
1
15
2
1
1
16
3
2
2
17
2
1
1
18
1
0
0
19
2
1
1
20
2
1
1
21
2
1
1
22
2
1
1
23
2
1
1
24
2
1
1