我常用的一个数据爬取分析工具组合，浏览器插件Instant Data Scraper + ChatGPT。Instant Data Scraper：优点是能快速的抓取列表中的数据，而且可以自动翻页抓取。缺点就是抓取的数据格式不是特别标准，需要二次处理。ChatGPT：正好可以把Instant Data Scraper

发布时间: 2024-05-28 12:00:15

1分

数据加载中

2

1

0

我常用的一个数据爬取分析工具组合，浏览器插件Instant Data Scraper + ChatGPT。
Instant Data Scraper：优点是能快速的抓取列表中的数据，而且可以自动翻页抓取。缺点就是抓取的数据格式不是特别标准，需要二次处理。
ChatGPT：正好可以把Instant Data Scraper
时政
( twitter.com )

25天前由 Leo Xiang 提交

我常用的一个数据爬取分析工具组合，浏览器插件Instant Data Scraper + ChatGPT。

Instant Data Scraper：优点是能快速的抓取列表中的数据，而且可以自动翻页抓取。缺点就是抓取的数据格式不是特别标准，需要二次处理。

ChatGPT：正好可以把Instant Data Scraper 抓取的数据进行语意的格式化，然后再进行分析。

如果有一个工具能把这两个产品整合在一起就完美了。

点击图片查看原图

评论加载中...

您可能感兴趣的：更多

1

2

1

1

当猿猴开始制作使用工具完成任务，就进化成了人；当 LLM 学会使用工具或者制作工具（比如写代码执行），就进化成了智能体（Agent）。
爬虫是抓取网页的工具
浏览器自动化脚本是操作浏览器的工具
智能体是能根据需要调用合适工具来完成特定任务
IT技术
( twitter.com)

28天前 • 宝玉 • -- 点击 0 评论

2

2

1

1

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok|Bilibili数据爬取工具，支持API调用，在线批量解析及下载。
IT技术
( github.com)

2个月前 • Geek • -- 点击 0 评论

3

2

1

1

通过这个工具，让我找到了它底层使用的宝藏爬虫工具 - Crawlee
它的技术栈非常新，功能很强大，如果你想在 2023年做一个爬虫或者浏览器行为模拟工具，这个应该是最棒的，有这些特性：
* 两种模式，HTTP 和 Headless 模式，Headless 模式是基于真实的浏览器模拟（基于…
IT技术
( crawlee.dev)

7个月前 • Viking • -- 点击 0 评论

4

2

1

1

DrissionPage 是一个基于 python 的网页自动化工具
它既能控制浏览器，也能收发数据包，还能把两者合而为一。
IT技术
( drissionpage.cn)

2个月前 • Geek • -- 点击 0 评论

5

2

1

1

📊 Coze Bots 数据分析与可视化 [图表x12]
根据 Leo 兄提供的数据汇总统计，对 10 个类目合计约 10,000 条数据进行可视化分析：
✦ 概览：各类目中，「聊天数量」的 Top10 累和分布呈现。
✦ 概览：用「箱型图」呈现各类目的头部表现。
✦ 用「饼图」分析 Top 10 的分布情况。
✦
时政
( twitter.com)

18天前 • JerLin • -- 点击 0 评论

6

2

1

1

#工程师工具推荐一款很牛的用于清除浏览器地址栏里链接无用参数的扩展「ClearURLs」，特别适合强迫症患者使用，让你分享给朋友的地址链接干净又卫生。

IT技术
( chrome.google.com)

10个月前 • Tw93 • -- 点击 0 评论

7

2

1

1

Chat GPT的代码解释器今天向所有Plus用户开放了，这玩意可太好用了。
非常适合日常的一些自动化内容处理需求和数据分析工作，之前这些小需求因为太小了很少有可以专门解决的工具，自己写代码处理又很麻烦。

比如我下面👇这个日常工…
IT技术
( twitter.com)

11个月前 • 歸藏 • -- 点击 0 评论

8

2

1

1

LlamaIndex命令行工具：create-llama
它可以自动爬取网站或者索引你提供的内容，并基于这些数据创建一个全栈的 #RAG 应用。
这个工具使得利用像GPT-4这样的大语言模型来加载、索引和与数据进行交互变得更加简单。用户只需提供自己的数据，运行npx create-llama命令，就可以生成一个全栈应用。…
IT技术
( twitter.com)

4个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:01:18

9

2

1

1

#工程师工具之前一些移除图片背景的工具基本需要使用服务器的能力，发现一个居然可以直接用浏览器来移除图片背景的库background-removal-js，很适合基于此做一些小工具来使用，有兴趣小伙伴可以玩玩看。
🤖
IT技术
( github.com)

7个月前 • Tw93 • -- 点击 0 评论