图像文字提取 - OCR 技术详解与实现指南

OCR 技术概述 - 机器如何从图像中读取文字

OCR (Optical Character Recognition，光学字符识别) 将图像中的文字转换为可编辑的文本数据。从扫描文档到自然场景中的标牌，OCR 技术已广泛应用于各种场景。

OCR 处理流程:

• 预处理：二值化、去噪、倾斜校正、版面分析
• 文字检测：定位图像中文字区域的位置
• 文字识别：将检测到的文字区域转换为字符序列
• 后处理：拼写检查、语言模型校正

OCR 的挑战:

• 复杂背景干扰 (自然场景)
• 多种字体和手写体
• 倾斜、透视变形
• 低分辨率和模糊
• 多语言混合文本

应用场景：文档数字化、车牌识别、名片扫描、发票处理、翻译应用 (拍照翻译)、无障碍辅助 (为视障用户朗读文字)。

OCR 的处理流水线：预处理 (Preprocessing)——对输入图像做去噪、二值化、倾斜校正、对比度增强，为提高文字识别精度做好准备；文本检测 (Text Detection)——确定图像内何处存在文本，用边界框框住文字区域；文字分割 (Segmentation)——把检测到的文本区域按行、进而按字符切分；文字识别 (Recognition)——用模板匹配或神经网络识别切分后的各个字符图像，并转换为对应的字符编码；后处理 (Post-processing)——用语言模型或词典修正识别结果。

序列识别成为主流：最新的基于深度学习的方式，采用一次性识别整行文本的「序列识别」，以 CRNN (Convolutional Recurrent Neural Network) + CTC (Connectionist Temporal Classification) 为主流。

Tesseract OCR - 开源标准引擎

Tesseract 是 Google 维护的开源 OCR 引擎，支持 100+ 种语言，是最广泛使用的免费 OCR 解决方案。

版本演进:

• Tesseract 3.x：传统方法 (特征提取 + 分类器)
• Tesseract 4.x：加入 LSTM 神经网络，精度大幅提升
• Tesseract 5.x：当前版本，改进的 LSTM 和训练工具

基本使用:

# 命令行
tesseract input.png output -l chi_sim+eng --psm 6

# Python (pytesseract)
import pytesseract
text = pytesseract.image_to_string(image, lang='chi_sim+eng')

PSM (Page Segmentation Mode):

• PSM 3：全自动页面分割 (默认)
• PSM 6：假设为单个文本块
• PSM 7：单行文本
• PSM 8：单个词
• PSM 13：单行原始文本 (无 OSD)

局限性：对自然场景文字效果差；需要良好的预处理；不支持实时处理；对倾斜和透视敏感。

版本 4.0 带来的转折：Tesseract 从版本 4.0 起搭载了基于 LSTM (Long Short-Term Memory) 的识别引擎，相比传统的模板匹配方式，精度大幅提升。

基本用法：安装——brew install tesseract tesseract-lang (macOS) 或 apt install tesseract-ocr tesseract-ocr-jpn (Ubuntu)；命令行执行——tesseract input.png output -l jpn --oem 1 --psm 6；OEM (OCR Engine Mode)——0 为 Legacy、1 为 LSTM、2 为 Legacy + LSTM、3 为默认 (可用的最佳引擎)；从 Python 调用 (pytesseract)——import pytesseract; from PIL import Image; text = pytesseract.image_to_string(Image.open('doc.png'), lang='jpn', config='--oem 1 --psm 6')。

精度与其前提条件：Tesseract 对印刷物扫描图像的识别精度约为 90-95%，但在下列条件下会大幅下降：分辨率低于 300dpi 的图像 (推荐 300-600dpi)；背景带有噪点或纹理的图像；倾斜拍摄的文档；手写文字 (Tesseract 针对印刷文字做了优化)；竖排文本 (虽可用 PSM 5 应对但精度较低)。要克服这些制约，需要恰当的预处理，并在必要时考虑切换到云端 API 或深度学习模型。

深度学习 OCR - CRNN 和 Transformer 模型

深度学习 OCR 方法在精度和鲁棒性上大幅超越传统方法，尤其在自然场景文字识别中。

文字检测模型:

• EAST：高效准确的场景文字检测器。直接回归文字区域的旋转矩形
• DBNet：可微分二值化，精确检测任意形状文字
• CRAFT：字符级别检测，通过字符间亲和力连接为文本行

文字识别模型:

• CRNN: CNN 特征提取 + RNN 序列建模 + CTC 解码。经典架构
• ASTER：加入 STN (空间变换网络) 校正不规则文字
• ABINet：自主、双向、迭代的语言模型增强识别

端到端方法:

• PaddleOCR：百度开源，检测+识别一体化。支持 80+ 语言，轻量模型适合移动端
• EasyOCR: Python 库，简单易用。reader = easyocr.Reader(['ch_sim','en']); result = reader.readtext(image)
• TrOCR (Microsoft)：纯 Transformer 架构，预训练在大规模数据上

两大主流架构：其中 CRNN (Convolutional Recurrent Neural Network) 架构，以及近年崛起的基于 Transformer 的模型是主流。CRNN 的骨干一般使用 VGG 或 ResNet。

代表性模型：TrOCR (Microsoft) 由 Vision Transformer (ViT) 编码器与 GPT-2 解码器构成，借助预训练模型只需少量微调即可达到高精度；PaddleOCR 是 Baidu 开发的开源 OCR 框架，其中 PP-OCRv4 轻量而高精度，支持包含日语在内的 80 种以上语言，在移动设备上也能实时运行；EasyOCR 是基于 PyTorch 的 OCR 库，以 CRAFT (文本检测) + CRNN (识别) 的组合支持 40 种以上的语言。

精度比较 (印刷文档、字符级正确率):Tesseract 4.x LSTM 为 92-95%；PaddleOCR PP-OCRv4 为 96-98%；Google Cloud Vision API 为 97-99%；Azure AI Vision 为 96-98%。

预处理技术 - 大幅提升 OCR 精度

适当的预处理可以将 OCR 精度从 60% 提升到 95% 以上。预处理的目标是使文字更清晰、背景更干净。

关键预处理步骤:

• 灰度化：彩色图像转灰度，减少干扰
• 二值化: Otsu 或自适应阈值将文字与背景分离
• 去噪：中值滤波或形态学开运算去除噪点
• 倾斜校正：检测文本行角度并旋转校正
• 缩放：确保文字高度在 30-50 像素 (Tesseract 最佳范围)

Python 预处理示例:

import cv2
# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 自适应二值化
binary = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)
# 去噪
denoised = cv2.medianBlur(binary, 3)

针对不同场景的预处理:

• 扫描文档：二值化 + 去噪即可
• 手机拍照：透视校正 + 光照均衡 + 二值化
• 自然场景：深度学习方法通常不需要传统预处理

预处理的效果：施加恰当的预处理，可以把识别率提升 10-20 个百分点。

基础处理：二值化 (Binarization)——把文字与背景明确分离为黑与白，基本方法是大津法 (cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU))；去噪时要注意过度的模糊会损伤文字的边缘；倾斜校正 (Deskew)——文档发生倾斜时，用霍夫变换或最小外接矩形检测倾斜角，再用仿射变换校正，1 度以上的倾斜会显著影响识别精度。

进阶技巧：分辨率归一化——把输入图像缩放到相当于 300dpi，理想情况是文字高度达到 30-50 像素；对比度增强——用 CLAHE (Contrast Limited Adaptive Histogram Equalization) 改善局部的对比度，对淡薄的文字和有阴影的区域有效；形态学运算——用膨胀 (Dilation) 修补文字的断裂，用腐蚀 (Erosion) 分离彼此接触的文字；背景去除——去除文档图像的背景图案 (表格线、水印、纹理)，频域滤波与色差分离较为有效。

效果的实测：有案例显示，未做预处理时 Tesseract 的识别率为 78%，改为二值化 + 去噪 + 倾斜校正的组合后提升到了 94%。

云端 OCR 服务对比与选择指南

云端 OCR 服务提供开箱即用的高精度识别，适合不想自建模型的场景。

主要服务:

• Google Cloud Vision API：精度最高之一，支持 100+ 语言。文档 OCR 和手写识别出色
• AWS Textract：专注文档处理，支持表格和表单提取。与 AWS 生态集成好
• Azure Computer Vision: Read API 支持多语言混合。手写识别能力强
• 百度 OCR：中文识别精度领先。支持身份证、银行卡等特定场景

选择建议:

• 通用文档：Google Cloud Vision 或 Azure Read API
• 中文为主：百度 OCR 或 PaddleOCR (自部署)
• 表格提取：AWS Textract
• 成本敏感：PaddleOCR 或 EasyOCR (自部署，无 API 费用)

成本对比：云服务通常按请求计费 ($1-3 / 1000 页)。大量处理时自部署 PaddleOCR 更经济。

主要的云端 OCR 服务：Google Cloud Vision API 的日语识别精度最高 (97-99%)，提供 TEXT_DETECTION (文本检测) 与 DOCUMENT_TEXT_DETECTION (文档结构识别) 两种模式，费用为每 1000 次请求 $1.50；Amazon Textract 擅长表格与表单的结构识别，费用为每页 $0.0015 (文本检测) 起至 $0.015 (表格提取)；Azure AI Vision (旧称 Computer Vision) 的 Read API 同时支持印刷体与手写体，费用为每 1000 次事务 $1.00；Azure Document Intelligence (旧称 Form Recognizer) 提供发票、收据、名片等预构建模型，也可以训练自定义模型。

选型的指引：一般日语文档选 Google Cloud Vision API (精度最高)；表格与表单的结构抽取选 Amazon Textract；大量页面的批处理选 Azure AI Vision (异步批处理)；定型票据的自动读取选 Azure Document Intelligence；成本最小化则用 Tesseract (免费) 加预处理流水线。

混合方案：先用 Tesseract 处理，仅对置信度分数偏低 (低于 0.7) 的图像回退到云端 API，这种设计在成本与精度的平衡上表现优异。以每月 10 万张的处理量计算，可以把成本压到全量使用云端 API 时的 30-40%。

实现模式 - OCR 流水线设计与运营

构建生产级 OCR 流水线的架构设计和运营最佳实践。

流水线架构:

• 输入：图像/PDF 上传到 S3
• 触发：S3 事件触发 Lambda
• 预处理：Lambda 进行图像增强
• OCR：调用 Textract/Vision API 或自部署模型
• 后处理：结构化提取、校验
• 输出：结果存储到 DynamoDB/S3

精度提升策略:

• 多引擎投票：同时使用多个 OCR 引擎，取多数一致的结果
• 领域词典：使用领域特定词典进行后处理校正
• 置信度过滤：低置信度字符标记为需要人工审核
• 反馈循环：人工修正结果用于微调模型

监控指标:

• 字符准确率 (CER)：字符级别的错误率
• 词准确率 (WER)：词级别的错误率
• 处理延迟：从上传到结果可用的时间
• 失败率：OCR 完全失败的比例

推荐架构 (无服务器 OCR 流水线):输入层——用 EventBridge/S3 事件检知上传到 S3 的图像并启动 Lambda；预处理层——在 Lambda 中执行图像的预处理 (缩放、二值化、倾斜校正)，使用 OpenCV 的 Lambda Layer；识别层——把预处理后的图像发送到 Textract 或 Cloud Vision API，大量处理时用 SQS 队列做限流；后处理层——对识别结果施加基于正则表达式的修正、词典比对与格式校验；输出层——把结构化的文本数据保存到 DynamoDB，并更新检索索引。

提升精度的运营技巧：活用置信度分数——记录各字符与各单词的识别置信度，把低置信度的结果转入人工复核队列；反馈闭环——积累人工修正后的结果，作为自定义模型的微调数据；领域词典——准备行业特有的术语词典，在后处理中修正识别结果，相比整体识别可以带来 5-10% 的精度提升。

性能指标：以字符级正确率 (Character Accuracy) 95% 以上、单词级正确率 (Word Accuracy) 90% 以上为目标，按月进行监控。