ithome
科技
采集 2026-10-30T16:13:52+00:00
小米开源轻量级文档理解模型Xiaomi-OCR-0
原始标题:小米开源 0.8B 参数 OCR 小模型:打通文档解析与视觉问答,支持 Markdown 与 JSON 输出
来源
ithome
发布时间
2026-10-30T13:15:17
采集批次
2026-10-30-16
字数
1352
URL 指纹
ae83acab8ff3eb4d
📌 AI 总结(191 字)
小米开源0.8B参数文档理解模型Xiaomi-OCR-0,可统一完成文档解析、关键信息抽取和视觉问答,支持Markdown、LaTeX及JSON输出。模型基于Qwen3.5-0.8B-Base构建,累计训练约1.7亿条样本,并在多项文档理解基准中位居前列。其技术已用于手机端「超级小爱」的识屏取码、智能记账和日程提取,开发者还可获取模型权重、推理代码、交互式Demo及智能体工具包。
📄 正文(1352 字)
小米宣布开源轻量级文档理解模型Xiaomi-OCR-0,模型权重与推理代码已同步上线Hugging Face和GitHub。该模型参数规模为0.8B,定位是以单一模型覆盖文档解析、关键信息抽取和OCR视觉问答三类任务。 在文档解析方面,模型能够识别正文、表格和数学公式,并按照阅读顺序输出结构化结果,原生支持Markdown和LaTeX格式。针对发票、收据、卡证及业务表单等材料,模型可依据指定字段定位信息并输出JSON等结构化数据,便于接入自动化处理流程。视觉问答功能则支持围绕文档和图表进行跨区域检索、数值计算与语义推理,不再局限于单纯文字转写。 Xiaomi-OCR-0基于Qwen3.5-0.8B-Base构建,训练累计使用约1.7亿条OCR与文档理解样本。训练数据采用异构专家共识机制,由多个OCR专家模型交叉校验正文、表格和公式等区域,并投票筛选高置信度标注。针对复杂表格与公式,团队设计了「预测—重渲染—视觉比对」闭环校验流程,通过重新渲染候选结果并与原始区域进行像素和结构比对,定位行列错位或符号缺失后定向修正。训练数据还补充了多语种、古籍手写、屏幕摩尔纹、扭曲光照等困难样本。 训练过程分为三个阶段。首先通过Q-Mask文本锚定强化视觉局部区域与文字Token的空间对应关系;随后以百亿级Token的多任务混合数据进行OCR持续预训练;最后在困难样本上开展混合任务强化学习,以结构编辑距离、表格匹配度和问答准确率作为可验证奖励信号。 官方评测显示,在涵盖模拟扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄的Real5-OmniDocBench上,Xiaomi-OCR-0获得95.24分,在对比模型中排名第一;在Wild-OmniDocBench上得分为87.94分。综合基准OmniDocBench v1.6中,其得分96.83分,位列总榜第二,与榜首仅差0.04分,并成为1B以下参数模型中的第一名。数学公式识别基准UniMER-Test得分为97.84分,表格结构识别基准PubTabNet得分为92.27分。在古籍与书法评测集Chronicles-OCR中,模型得分为73分,与闭源模型Seed 2.0 Pro的72分处于同一水平。 在DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA五项文档理解基准上,Xiaomi-OCR-0平均得分为83.2分,高于HunyuanOCR-1.5的76.5分、TokenVL-2B的78.1分和TextHawk2的78.5分,也超过Qwen3.5-2B的80.9分及MiniCPM-V-4.5的82.6分。 目前相关技术已用于手机端「超级小爱」。用户可通过短按AI键、三指上滑或语音指令,提取屏幕中的外卖取餐码、快递取件码和排队号等时效信息。在账单与卡证场景中,识屏功能可抽取交易金额、商户名称、支付时间和消费类别,用于智能记账;纸质发票、身份证和银行卡等材料也可通过拍照完成字段提取。系统还能识别群聊中的会议通知或海报上的时间地点,并生成日程卡片。 除公开模型权重和推理代码外,小米还提供浏览器交互式Demo、MCP服务及Agent Skill工具包,方便开发者将模型集成至自有业务流或智能体系统。