AI 开源爬虫项目推荐
Crawl4AI 🕷️🤖 - 开源的对大语言模型友好的网页爬虫和抓取器 by UncleCode @unclecode
Crawl4AI 是一个强大且免费的网页爬取服务,旨在从网页中提取有用信息,并使其能够被 LLMs 和 AI 应用所访问。🆓🌐
特点 ✨
🕷️ 高效的网页爬取,从网站提取有价值数据
🤖 适合大型语言模型的输出格式(JSON、清理过的 HTML、Markdown)
🌍 支持同时爬取多个 URL
🌃 将媒体标签替换为 ALT
🆓 完全免费使用且开源
🆓 Apache 2.0 License
使用 Crawl4AI 有两种方式:
1. 作为 Python 项目中的库使用;
2. 作为独立的本地服务器使用。
Github Repo:
https://t.co/5Cg0jqzHMt
项目网站:
https://t.co/NlNwUG2H4A
点击图片查看原图