26863 位用户此时在线
24小时点击排行 Top 10：
- 本站自动实时分享网络热点
- 24小时实时更新
- 所有言论不代表本站态度
- 欢迎对信息踊跃评论评分
- 评分越高，信息越新，排列越靠前
2
1
0
几个月前Meta发布Segment Anything Model(SAM) ，可以识别、标记图片、视频中的任何物体，而OpenAI刚刚发布了多模态大模型GPT-4V，没想到微软将SAM和GPT-4V结合了起来，先借助SAM对图片上的物体进行标记，然后再交给GPT-4V，可以大幅提升GPT-4V的识别能力。…
IT技术
(
segment-anything.com
)
由
宝玉
提交
几个月前Meta发布Segment Anything Model(SAM) https://t.co/THY1dqsHGg ，可以识别、标记图片、视频中的任何物体，而OpenAI刚刚发布了多模态大模型GPT-4V，没想到微软将SAM和GPT-4V结合了起来，先借助SAM对图片上的物体进行标记，然后再交给GPT-4V，可以大幅提升GPT-4V的识别能力。
其实也很好理解：因为用文字描述图片其实是很难的事情，但是当把图片上的关键内容标记上编号，描述、引用起来就更简单准确了。
项目地址：https://t.co/rg57k1VAwg
论文：https://t.co/0SgwUkZBWG
Set-of-Mark Prompting Unleashes
Extraordinary Visual Grounding in GPT-4V
## GPT-4V通过“标记集”提示实现出色的视觉识别
我们提出了一种新的视觉提示技术——“标记集”(SoM)，帮助像GPT-4V这样的大型多模态模型更好地识别和理解图像。简单来说，我们用常见的交互式图像分割技术（例如SAM）来把一幅图像分成不同的部分，并在这些部分上加上一些标识，如字母、数字、遮罩或框等。然后把这些加了标识的图像给GPT-4V，它就能回答和图像相关的问题了。
我们做了很多实验来证明这种方法的有效性。结果表明，只要用上我们的“标记集”提示，GPT-4V在无需样例的情况下就能做得比其他先进技术还要好，例如在RefCOCOg任务中的表现就超过了其他技术。
点击图片查看原图
点击图片查看原图
点击图片查看原图
点击图片查看原图
1
2
1
1
2
2
1
1
3
2
1
1
5
2
1
1
6
2
1
1
8
2
1
1
9
2
1
1
11
2
1
1
14
2
1
1
15
2
1
1
16
2
1
1
18
2
1
1
19
2
1
1
21
3
2
2
22
2
1
1
23
2
1
1