pdf-extract-api: 结合 OCR 和 LLM 实现高质量的本地文档智能化处理# 基于现代 OCR 技术和 LLM 的 PDF 文档解析 API, 能够将 PDF/图片高精度转换为 Markdown/JSON 格式, 支持数学公式识别、隐私信息删除, 完全本地部署无需云服务, 适合对数据隐私敏感的企业级应用场景。

发布时间: 2024-11-07 04:00:15

1分

数据加载中

关注推特

收听电报

2

1

0

pdf-extract-api: 结合 OCR 和 LLM 实现高质量的本地文档智能化处理
# 基于现代 OCR 技术和 LLM 的 PDF 文档解析 API, 能够将 PDF/图片高精度转换为 Markdown/JSON 格式, 支持数学公式识别、隐私信息删除, 完全本地部署无需云服务, 适合对数据隐私敏感的企业级应用场景。
时政
( twitter.com )

4个月前由 meng shao 提交

pdf-extract-api: 结合 OCR 和 LLM 实现高质量的本地文档智能化处理 @CatchtheTornado

# 基于现代 OCR 技术和 @ollama LLM 的 PDF 文档解析 API, 能够将 PDF/图片高精度转换为 Markdown/JSON 格式, 支持数学公式识别、隐私信息删除, 完全本地部署无需云服务, 适合对数据隐私敏感的企业级应用场景。

※ 核心功能
- 可以将任何PDF文档或图片转换为 Markdown 文本或 JSON 结构化文档
- 支持数学公式的高精度识别和转换
- 能够自动移除文档中的个人身份信息(PII)
- 支持 OCR 识别和文档解析

※ 技术架构
- 基于 @FastAPI 构建 API 服务
- 使用 Celery 处理异步 OCR 任务
- 使用 Redis 进行缓存
- 结合 PyTorch 的 OCR(Marker) 和 Ollama 模型
- 完全本地部署, 无需外部云服务依赖

※ 关键特性
- 高质量 OCR: 使用不同的 OCR 策略确保高精度转换
- LLM 增强: 使用 Llama 模型改进 OCR 结果, 修复拼写和文本问题
- 隐私保护: 可以移除敏感个人信息
- 分布式处理: 使用 Celery 实现队列处理
- GPU 支持: 支持 GPU 加速

项目地址:
https://t.co/r4NZM8CpCg

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

一个高质量PDF内容提取工具：PDF-Extract-Kit
PDF-Extract-Kit通过集成多个模型实现了PDF高质量提取，适用于学术论文、教科书、研究报告和财务报表等多种文档类型，在扫描模糊或有水印的情况下也能保持高鲁棒性
1、布局检测采用LayoutLMv3模型进行区域检测，包括图像、表格、标题、文本等
时政
( twitter.com)

8个月前 • AIGCLINK • -- 点击 0 评论

2

3

2

2

一个基于GPT-4o-mini 的PDF OCR工具：Zerox
Zerox先将PDF 文件转换成图像，再由GPT-4o-mini识别并输出Markdown，最后将所有页面对应的 Markdown 结果汇总在一起形成完整的Markdown 文档
支持零样本 OCR、精度高、提供API接口；可以处理包含表格、图表等复杂布局文件，支持多种格式，包括扫描版
时政
( twitter.com)

7个月前 • AIGCLINK • -- 点击 0 评论

3

2

1

1

这就是AI存在的意义，一个初学编程的人，可以依靠AI辅助，实现自己想要的功能。
这个开源Python脚本作者BrandonSC在日常工作中发现有很多没有好好命名的PDF文件，如“附件（1）.pdf”，于是他写了个小脚本，能够根据PDF内容自动重命名PDF文件，如把“附件（1）.pdf”命名为“2023年用户访谈总结.pdf”。…
时政
( twitter.com)

1年前 • 哥飞 • -- 点击 0 评论

4

2

1

1

ChatPDF 支持了 GPT4V，看到 PDF 里的图表，可以使用新的选框工具进行标记，并获得解读。
另外说一下 4V 的 API 比想象中便宜很多。
这个技术的可用性非常之高。
IT技术
( www.chatpdf.com)

1年前 • orange.ai • -- 点击 0 评论

5

2

1

1

卧槽， langflow 确实骚包的，野心很大
1/ 集成各类 llm 节点: openAI, Ollama, Anthropic, Qianfan
2/ 支持各类向量数据库 FAISS, Vectara, Pinecone
3/ 各类文件源 SQL, Json, PDF, Notion
4/ 各类三方 API BingSearchAPI, GoogleSearchAPI
5/…
IT技术
( twitter.com)

11个月前 • 黄赟 • -- 点击 0 评论

6

3

2

2

终于读完《智人之上》，把epub转成pdf，传到Notebooklm对话总结。
Epub转PDF：
NotebookLM：
天真的信息观
天真的信息观认为，信息的主要作用是呈现现实、揭示真相。
IT技术
( twitter.com)

5个月前 • 向阳乔木 • -- 点击 0 评论

7

2

1

1

基于Vision LLM把PDF转为Markdown的一款工具：vision-parse
智能提取，精确识别文本、表格
可以保留文档的层级结构、样式
支持多页，支持本地部署
#PDF转Markdown
时政
( twitter.com)

2个月前 • AIGCLINK • -- 点击 0 评论

8

2

1

1

Google Gemini API Cookbook
Google 官方Gemini API提供的指南和示例集合
帮助开发者更好地理解和使用Gemini API，包括如何构建应用程序、编写提示以及利用API的不同特性。
支持直接在Google Colab上运行或下载到用户选择的环境中运行。
提供了：
-入门指南:…
时政
( github.com)

1年前 • 小互 • -- 点击 0 评论

9

2

1

1

好问题！
因为PDF阅读这个问题很困扰我，我就想能不能PDF转HTML，结果发现PDF转HTML效果很差！
我就想能不能LaTeX转HTML，发现可行，就找到LaTeXML！但是本地测试没成功，不过我怀疑有人做过了，就去 Google 搜索，找到了。
于是就开始用
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

0.67334 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特