GPT-4 的爬虫编写能力让我惊叹!
我用 GPT-4 重构了我的 Twitter 爬虫脚本,80%的代码都是用 GPT-4生成的。在解析一条 Twitter 内容的时候只需将响应的 HTML 代码交给 GPT-4,它便迅速解析出我需要的信息,如果人工来写这样的解析代码需要一两个小时才能完成。对于爬虫类的非结构化数据,大型模型表现得十分出色且高效。
图一:在控制台中找到一条 Twitter 的 HTML 内容;
图二:编写 Prompt,让 GPT 解析相关内容;
图三:完美呈现我所期望的解析结果。
搞爬虫的伙伴真的要考虑用大模型来重构你的爬虫逻辑。
点击图片查看原图
点击图片查看原图
点击图片查看原图