30384 位用户此时在线
24小时点击排行 Top 10：
- 本站自动实时分享网络热点
- 24小时实时更新
- 所有言论不代表本站态度
- 欢迎对信息踊跃评论评分
- 评分越高，信息越新，排列越靠前
3
2
1
GPT-4 的爬虫编写能力让我惊叹！
我用 GPT-4 重构了我的 Twitter 爬虫脚本，80%的代码都是用 GPT-4生成的。在解析一条 Twitter 内容的时候只需将响应的 HTML 代码交给…
时政
(
twitter.com
)
由
Leo Xiang #Tencent
提交
GPT-4 的爬虫编写能力让我惊叹！
我用 GPT-4 重构了我的 Twitter 爬虫脚本，80%的代码都是用 GPT-4生成的。在解析一条 Twitter 内容的时候只需将响应的 HTML 代码交给 GPT-4，它便迅速解析出我需要的信息，如果人工来写这样的解析代码需要一两个小时才能完成。对于爬虫类的非结构化数据，大型模型表现得十分出色且高效。
图一：在控制台中找到一条 Twitter 的 HTML 内容；
图二：编写 Prompt，让 GPT 解析相关内容；
图三：完美呈现我所期望的解析结果。
搞爬虫的伙伴真的要考虑用大模型来重构你的爬虫逻辑。
点击图片查看原图
点击图片查看原图
点击图片查看原图
1
2
1
1
3
2
1
1
5
2
1
1
6
2
1
1
8
2
1
1
9
2
1
1
10
2
1
1
11
2
1
1
12
2
1
1
16
3
2
2
19
2
1
1
20
2
1
1
21
2
1
1
22
2
1
1
24
2
1
1